ACLMay, 2021

通过问答提高摘要生成的事实一致性

PDF
TL;DR本文提出了一种解决摘要生成模型中可能存在错误信息的方法，策略包括评估指标度量、新型学习算法、人工评估等，并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。
abstractive summarizationfactual consistencyautomatic evaluation metriclearning algorithmhuman evaluation
发现论文，激发创造
  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021

  • 抽象文本摘要的实体级事实一致性

    提出了一种新的度量生成摘要与原文事实一致性的方法，并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外，还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法，并在实体层面的指标上得到了进一步的改进。

    Feb, 2021

  • 提高抽象摘要的事实性而不牺牲摘要质量

    本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

    May, 2023

  • 询问和回答问题以评估摘要的事实一致性

    该研究介绍了一种名为 QAGS 的自动评估协议，用于识别生成的摘要中的事实不一致性，并提供了一种自然的可解释性方法，这种方法是基于提出问题并对摘要和源回答问题的引导下实现的。实验结果表明，与现有的自动评估度量相比，QAGS 具有更高的相关性，并且是一种自动生成可用和事实一致的文本的有希望的工具。

    Apr, 2020

  • 通过控制无关句的混淆效应来提高抽象摘要的忠实度

    本文研究了文本自动摘要中的事实正确性问题，提出了减少混淆因素的多任务模型，并且实现了在 AnswerSumm 数据集上准确性和信实度均有提升。

    Dec, 2022

  • 通过反事实估计对文本摘要的实际一致性评估

    提出一种基于反事实估算的新型度量标准，用于评估文本摘要的事实一致性，能够帮助改善与人类判断的相关性和使用的便利性。

    Aug, 2021

  • 质疑摘要数据集的有效性并提高其事实一致性

    本文提出了一个由多种最新事实一致性模型组合而成的方案，用于检测流行摘要数据集中的问题。我们发布了具有改进真实一致性的 SummFC 数据集，并证明在几乎所有质量方面，使用该数据集训练的摘要生成模型都能够获得更好的性能。我们认为 SummFC 数据集应成为评估摘要系统的有效基准。

    Oct, 2022

  • 关于从自然语言反馈中提高摘要的事实一致性

    本文中，我们对自然语言生成功能的输出质量提出问题，通过收集人类演示和信息反馈数据集 DeFacto，我们进行了两项自然语言生成任务的研究，旨在通过实现信息反馈来提高自然语言生成模型的质量，改善与用户需求的匹配度。

    Dec, 2022