ACLJun, 2021

你熟悉哪些摘要数据集？

PDF
TL;DR本研究手动分析了三个流行的摘要数据集中的 600 份样本，并对 27 个最先进的摘要模型和 5 个流行的度量标准进行了彻底分析。 研究揭示出数据集具有不同的数据质量和复杂度分布，对样本复杂度强烈依赖，以及基于引用文本的质量差异导致真实摘要得分偏低等关键见解。
summarization systemsdatasetsautomatic metricsdata qualitycomplexity
发现论文，激发创造
  • SQuALITY: 用较困难的方式构建长文摘要数据集

    通过请高质量合同工人阅读原始文档并写出原始摘要，建立了 SQuALITY 数据集，该数据集的第一篇文章概述了主要内容，其余四篇回答了具体问题，实验证明现有自动摘要评估指标不是优秀的质量指标。

    May, 2022

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • WikiHow：一个大规模的文本摘要数据集

    本研究介绍了一种基于在线知识库的数据集 WikiHow，包含超过 230,000 个文章和摘要对，用于评估现有的序列到序列模型在不同写作风格、更高语义抽象度的摘要中的性能。

    Oct, 2018

  • OpinSummEval: 重新审视舆情摘要自动评估

    观点总结与其他类型的总结任务有所不同，因为其独特关注于方面和情感。本文介绍了 OpinSummEval，它是一个包含人工评价和 14 个观点总结模型输出的数据集。我们进一步探讨了 24 个自动评估指标与人工评分之间在四个维度上的相关性。结果表明，基于神经网络的指标通常优于非神经网络的指标。然而，即使是构建在强大的模型基础之上，如 BART 和 GPT-3/3.5，也不能在所有维度上一致地与人工评分相关，凸显了观点总结自动评估方法的进步需求。代码和数据可在此 URL 公开获取。

    Oct, 2023

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • USB：跨任务和领域的统一摘要基准

    本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

    May, 2023

  • 神经抽取式摘要模型中数据偏差的深入研究

    本研究回顾现有的摘要数据集的现状，研究了数据集的不同因素如何影响神经摘要模型的泛化行为，提出了数据集的几个性质，分析数据集的不同属性如何影响模型结构设计和训练方法的选择，并借鉴分析的经验重新思考了模型设计的过程。我们发现，深入了解数据集的特征可以带来显著的改进。

    Sep, 2019

  • 长文档摘要的实证调查：数据集、模型和度量

    本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展，包括基准数据集、摘要模型和评估方法，并提出未来工作的方向。

    Jul, 2022

  • 质疑摘要数据集的有效性并提高其事实一致性

    本文提出了一个由多种最新事实一致性模型组合而成的方案，用于检测流行摘要数据集中的问题。我们发布了具有改进真实一致性的 SummFC 数据集，并证明在几乎所有质量方面，使用该数据集训练的摘要生成模型都能够获得更好的性能。我们认为 SummFC 数据集应成为评估摘要系统的有效基准。

    Oct, 2022

  • 文本摘要技术取得了哪些成就？

    通过使用多维度质量度量标准（MQM），我们手动量化了 10 种代表性汇总模型中 8 种主要错误来源，发现在相似设置下，提取式汇总器总体上比其抽象式汇总器表现更好，尤其是在忠实度和事实一致性方面。同时，预训练技术，特别是序列到序列的预训练技术，对于提高文本汇总效果非常有效，其中 BART 效果最好。

    Oct, 2020