Sep, 2023

多文档摘要：一项比较评估

PDF
TL;DR本研究通过对不同领域不同类型数据集上的最新多文档摘要模型进行评估，探究现有模型的局限性，为未来研究方向提供参考。研究发现，在 MS2 数据集中，通用预训练模型 LED 的表现优于 PRIMERA 和 PEGASUS 模型。本研究以 ROUGE 得分作为性能衡量指标，为不同领域中这些模型的优势、弱点以及适用性提供了有价值的见解，有助于开发能够适用于要求高、学术和 / 或科学复杂数据以及常规相对简单数据集的准确且强大的模型。
multi-document summarizationstate-of-the-art modelsdatasetsperformance evaluationfuture research directions
发现论文，激发创造
  • 多文档摘要中的语料库评估和系统偏差检测

    本文通过使用多个 MDS 语料库和一系列最先进的模型来研究这个异构任务，并尝试量化纲要质量并提出考虑制定新 MDS 纲要的要点。此外，我们分析了缺乏在所有语料库上均实现卓越性能的 MDS 系统的原因，并观察到流程度受到系统指标度量的影响，并由于语料库属性而传播偏见。

    Oct, 2020

  • 深度学习技术在多文档摘要中的应用：一项调查

    本文回顾了近期基于深度学习的多文档摘要模型，提出了新的分类方法以及对这个领域的现状进行了综合总结，并且强调了现有文献中很少讨论的各种目标函数之间的区别，最后对未来发展方向提出了几个建议。

    Nov, 2020

  • Multi-News：一个大规模的多文档摘要数据集和抽象分层模型

    本文介绍了首个大规模多文档新闻数据集 Multi-News，并提出一个将传统提取式摘要模型与标准单文档摘要模型结合的端到端模型，取得了有竞争力的结果。我们在 Multi-News 上比较了几种方法，并希望我们的数据和代码能促进多文档摘要领域的进展。

    Jun, 2019

  • 基于读者感知的多文档摘要：增强模型与首个数据集

    本文介绍了一个新的数据集来解决阅读者感知的多文档摘要问题；通过扩展基于变分自动编解码器的 MDS 框架，共同考虑新闻文档和读者评论。实验结果表明，读者评论能够提高摘要的表现，并证明了所提出的数据集的实用性。

    Aug, 2017

  • 医学多文献摘要自动评估指标与人类评估不符

    为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

    May, 2023

  • 多篇文档摘要如何 “多”?

    本文介绍一种用于评估多文档摘要生成模型及数据集中数据分散程度的自动化度量方法，并检验几个流行的多文档摘要数据集，结果表明某些数据集没有利用多文档信息，提出应用该度量方法评估数据集和模型的性能。

    Oct, 2022

  • 主题引导的抽象多文档摘要

    该论文提出了一种基于异构图和神经主题模型的抽象多文档摘要模型，采用图到序列的框架，同时训练主题和摘要模块以提高性能和生成高质量主题。

    Oct, 2021

  • 探索多篇文档的层次关系总结

    本文介绍 PeerSum 数据集以生成高度抽象的科学论文审稿的 meta-reviews，并介绍了 Rammer 模型来通过稀疏注意力机制预测元数据特征，从而提高多文档摘要系统的能力。

    May, 2023

  • 探索开放领域多文档摘要的挑战

    本文研究了 Multi-document summarization (MDS) 在基于开放领域的信息检索下的应用。作者在实验中发现现有的摘要算法性能较低，但通过训练摘要算法可以减少检索错误对算法性能的影响。此外，作者还进行了扰动实验研究了不同类型的文档检索错误对算法影响并提出了实用指南。

    Dec, 2022

  • PELMS：面向高效低样本多文档摘要的预训练

    我们研究了用于抽象多文档摘要的预训练技术，提出了一种名为 PELMS 的预训练模型，使用基于语义连贯性和忠实度约束的目标函数，在无标签的多文档输入上促进简洁、流畅和忠实的摘要生成。通过对超过 9300 万个文档组成的 300 多万个无标签主题中心文档群集进行训练，编制了一个名为 MultiPT 的多文档预训练语料库，涵盖产品评论、新闻和常识等多种流派。在多个低样本设置下，我们对 PELMS 进行了广泛的评估，发现我们的方法在整体信息性、抽象性、连贯性和忠实度方面始终优于竞争对手的比较。

    Nov, 2023