本文通过使用多个 MDS 语料库和一系列最先进的模型来研究这个异构任务,并尝试量化纲要质量并提出考虑制定新 MDS 纲要的要点。此外,我们分析了缺乏在所有语料库上均实现卓越性能的 MDS 系统的原因,并观察到流程度受到系统指标度量的影响,并由于语料库属性而传播偏见。
Oct, 2020
评估标准数据集、评估指标、模型三方面存在的问题,提出了数据集自动采集、评估不足以反映人类判断、模型样本不足多样化等三个主要问题,导致长文本摘要进展不一。
Aug, 2019
本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展,包括基准数据集、摘要模型和评估方法,并提出未来工作的方向。
Jul, 2022
该论文提出了一种新的解决方案,通过开发和发布一个大规模的、手动注释的科学论文语料库,并提出了将作者的原始亮点(摘要)和文章对社区的实际影响(引用)整合的摘要方法,创建全面的、混合型摘要。我们进行了实验,证明了我们的语料库在训练数据驱动模型的科学论文摘要中的功效以及我们的混合型摘要优于摘要和传统的基于引用的摘要。这个大规模的注释语料库和混合方法提供了一个新的科学论文摘要研究框架。
Sep, 2019
提出了一种名为 CAST 的归类对齐和稀疏变换器的自动摘要方法,使用 BigSurvey 数据集,将超过 7000 份调查论文的摘要作为目标摘要,430,000 篇参考论文的摘要作为输入文档,赢得了各种高级自动摘要方法的比较实验。
Feb, 2023
本文介绍了 FacetSum 这一基于 Emerald 期刊文章的多方位摘要基准数据集,其不同于传统的文档 - 摘要对,提供了多个摘要,针对长文档的不同部分,包括目的、方法、发现和价值等方面,对数据集的分析和实证结果揭示了将结构引入摘要的重要性。我们相信 FacetSum 将推动摘要研究的进一步发展,促进 NLP 系统在长文本和摘要中利用结构信息的发展。
May, 2021
本文提出一种基于众包的层次结构构建系统,包括不确定性建模和用信息增益准则选择问题的方法,实验结果表明该系统具有噪声鲁棒性、高效性和高质量的层次结构。
Apr, 2015
开发了一种基于抽象的总结框架,适用于多个异构文档,该框架独立于标记数据。 与现有的多文件总结方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。 最后,我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体,其中每个文档组都包含大量且多样化的文档,以评估我们的模型与其他基线系统的性能。 我们的实验表明,我们的框架在这种更通用的情况下胜过了现有的最先进方法。
May, 2022
本文介绍两个新的科普文摘数据集,通过对大规模和中规模的生物医学期刊文章的专家摘要进行了深入的表征,证明了它们的实用性,并揭示了这一任务的关键挑战。
Oct, 2022
通过请高质量合同工人阅读原始文档并写出原始摘要,建立了 SQuALITY 数据集,该数据集的第一篇文章概述了主要内容,其余四篇回答了具体问题,实验证明现有自动摘要评估指标不是优秀的质量指标。