Sep, 2023

ODSum：开放领域多文档摘要的新基准

PDF
TL;DR我们提出了一种基于规则的方法来处理查询驱动的文档摘要数据集以及通过广泛实验找到评估指标的差异并提供可靠性见解，同时还发现在不完美的检索情况下，LLMs 遭受严重的性能损失。
open-domain multi-document summarizationodmdsquery-based document summarizationretrieve-then-summarize methodretrieving errors
发现论文，激发创造
  • 探索开放领域多文档摘要的挑战

    本文研究了 Multi-document summarization (MDS) 在基于开放领域的信息检索下的应用。作者在实验中发现现有的摘要算法性能较低，但通过训练摘要算法可以减少检索错误对算法性能的影响。此外，作者还进行了扰动实验研究了不同类型的文档检索错误对算法影响并提出了实用指南。

    Dec, 2022

  • 多篇文档摘要如何 “多”?

    本文介绍一种用于评估多文档摘要生成模型及数据集中数据分散程度的自动化度量方法，并检验几个流行的多文档摘要数据集，结果表明某些数据集没有利用多文档信息，提出应用该度量方法评估数据集和模型的性能。

    Oct, 2022

  • LightPAL: 开放域多文档摘要的轻量级段落检索

    提出了一种轻量级的语段检索方法 LightPAL，通过使用语言模型构造表示语段关系的图表，在索引期间进行随机游走而非迭代推理和检索，以应对开放领域的多文档摘要生成中存在的问题，并在 ODMDS 基准测试中表现出优于基准检索器的摘要质量并且比迭代式多跳问题解答方法更加高效。

    Jun, 2024

  • 深度学习技术在多文档摘要中的应用：一项调查

    本文回顾了近期基于深度学习的多文档摘要模型，提出了新的分类方法以及对这个领域的现状进行了综合总结，并且强调了现有文献中很少讨论的各种目标函数之间的区别，最后对未来发展方向提出了几个建议。

    Nov, 2020

  • 多文档摘要中的语料库评估和系统偏差检测

    本文通过使用多个 MDS 语料库和一系列最先进的模型来研究这个异构任务，并尝试量化纲要质量并提出考虑制定新 MDS 纲要的要点。此外，我们分析了缺乏在所有语料库上均实现卓越性能的 MDS 系统的原因，并观察到流程度受到系统指标度量的影响，并由于语料库属性而传播偏见。

    Oct, 2020

  • AQuaMuSe: 自动为基于查询的多文档摘要生成数据集

    本文提出了一种名为 AQuaMuSe 的可扩展方法，用于自动从问答数据集和大型文档语料库中挖掘基于查询的多文档摘要示例，其中包括种类独特的可提取和抽象式摘要数据集，并提供了详细的数据集评估和基线摘要模型实验。

    Oct, 2020

  • 非参数记忆引导的多文档摘要

    我们提出了一种用于摘要生成的检索引导模型，结合了非参数记忆。该模型使用近似最近邻搜索从数据库中检索相关的候选文本，然后利用复制机制和源文档生成摘要。我们在包括科学文章的 MultiXScience 数据集上评估了我们的方法，并讨论了我们的结果和未来工作的可能方向。

    Nov, 2023

  • Multi-News：一个大规模的多文档摘要数据集和抽象分层模型

    本文介绍了首个大规模多文档新闻数据集 Multi-News，并提出一个将传统提取式摘要模型与标准单文档摘要模型结合的端到端模型，取得了有竞争力的结果。我们在 Multi-News 上比较了几种方法，并希望我们的数据和代码能促进多文档摘要领域的进展。

    Jun, 2019

  • 主题引导的抽象多文档摘要

    该论文提出了一种基于异构图和神经主题模型的抽象多文档摘要模型，采用图到序列的框架，同时训练主题和摘要模块以提高性能和生成高质量主题。

    Oct, 2021

  • PDSum：基于原型的流式多文档集持续摘要

    这篇论文提出了一种新的问题 Evolution Multi-Document sets stream Summarization (EMDS) 以及一种新的无监督算法 PDSum 来解决动态演变的多文档集的连续摘要，该算法采用基于原型的轻量级方法来更新新摘要。

    Feb, 2023