May, 2022

SQuALITY: 用较困难的方式构建长文摘要数据集

PDF
TL;DR通过请高质量合同工人阅读原始文档并写出原始摘要，建立了 SQuALITY 数据集，该数据集的第一篇文章概述了主要内容，其余四篇回答了具体问题，实验证明现有自动摘要评估指标不是优秀的质量指标。
summarization datasetsbenchmark datasqualityquestion-focused summariesautomatic evaluation metrics
发现论文，激发创造
  • BookSum：用于长篇叙述摘要的数据集合集

    本研究介绍了一种新的包含长型叙述文本的数据集 BookSum。这个数据集覆盖了文学领域的原始文件，并包含三种难度递增的高度抽象的人工撰写的摘要，涵盖段落、章节和整本书的水平。通过该任务的训练和测试，本研究基于此数据集建立了多个抽取和摘要式自动文摘模型。

    May, 2021

  • 长文档摘要的实证调查：数据集、模型和度量

    本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展，包括基准数据集、摘要模型和评估方法，并提出未来工作的方向。

    Jul, 2022

  • 你熟悉哪些摘要数据集？

    本研究手动分析了三个流行的摘要数据集中的 600 份样本，并对 27 个最先进的摘要模型和 5 个流行的度量标准进行了彻底分析。 研究揭示出数据集具有不同的数据质量和复杂度分布，对样本复杂度强烈依赖，以及基于引用文本的质量差异导致真实摘要得分偏低等关键见解。

    Jun, 2021

  • WikiHow：一个大规模的文本摘要数据集

    本研究介绍了一种基于在线知识库的数据集 WikiHow，包含超过 230,000 个文章和摘要对，用于评估现有的序列到序列模型在不同写作风格、更高语义抽象度的摘要中的性能。

    Oct, 2018

  • 长文本和多表总结：数据集和方法

    旨在创造简明摘要以涵盖输入文档的要点信息。自动文档摘要对文本和非文本内容进行了讨论，提出了涵盖定量描述的关键指标的表格数据的重要性，提出了一个大规模数据集和三种摘要方法，还评估了评估指标

    Feb, 2023

  • HowSumm：基于 WikiHow 文章的多文档自动摘要数据集

    本篇文章提出了 HowSumm 这一全新的数据集，可用于针对查询的多文档摘要 (qMDS) 任务，其目标是从一组来源生成可操作的指令。通过从 wikiHow 网站文章和它们引用的来源中提取数据创建了该数据集，并讨论了与其他摘要语料库的不同之处，实验结果表明，提取式和抽象式摘要模型在该数据集上的性能仍有提升空间。

    Oct, 2021

  • 为长篇科技文献带来结构：一个多方位摘要数据集

    本文介绍了 FacetSum 这一基于 Emerald 期刊文章的多方位摘要基准数据集，其不同于传统的文档 - 摘要对，提供了多个摘要，针对长文档的不同部分，包括目的、方法、发现和价值等方面，对数据集的分析和实证结果揭示了将结构引入摘要的重要性。我们相信 FacetSum 将推动摘要研究的进一步发展，促进 NLP 系统在长文本和摘要中利用结构信息的发展。

    May, 2021

  • 生成大量学术论文结构化摘要：数据集和方法

    提出了一种名为 CAST 的归类对齐和稀疏变换器的自动摘要方法，使用 BigSurvey 数据集，将超过 7000 份调查论文的摘要作为目标摘要，430,000 篇参考论文的摘要作为输入文档，赢得了各种高级自动摘要方法的比较实验。

    Feb, 2023

  • AQuaMuSe: 自动为基于查询的多文档摘要生成数据集

    本文提出了一种名为 AQuaMuSe 的可扩展方法，用于自动从问答数据集和大型文档语料库中挖掘基于查询的多文档摘要示例，其中包括种类独特的可提取和抽象式摘要数据集，并提供了详细的数据集评估和基线摘要模型实验。

    Oct, 2020

  • 神经文本摘要：一项关键评估

    评估标准数据集、评估指标、模型三方面存在的问题，提出了数据集自动采集、评估不足以反映人类判断、模型样本不足多样化等三个主要问题，导致长文本摘要进展不一。

    Aug, 2019