评估抽象文本摘要的事实一致性
本文提出了一种解决摘要生成模型中可能存在错误信息的方法,策略包括评估指标度量、新型学习算法、人工评估等,并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。
May, 2021
文章提出了一种基于事实感知的自动摘要模型 FASum,通过图注意力来提取和整合摘要生成过程中的事实关系,并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明,基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要,并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。
Mar, 2020
提出了一种新的度量生成摘要与原文事实一致性的方法,并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外,还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法,并在实体层面的指标上得到了进一步的改进。
Feb, 2021
研究表明,使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要,但是由于摘要的抽象性较高,导致文章中存在失真和伪造的问题,因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。
Apr, 2021
本论文提出了一种名为 Span-Fact 的技术,通过单一或多重遮盖策略,利用问题解答模型从系统生成的摘要中选择语义上一致且保留形式结构的实体,从而提高了系统生成的摘要的事实一致性和质量。
Oct, 2020
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果,针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
Dec, 2022
本文提出了一种基于遮罩的方法,使用源文本和关键信息屏蔽的参考摘要来生成真实不一致的摘要,这些摘要被用于训练分类器来判断一个产生的摘要是否与源文本事实一致;在七个基准数据集上进行的实验表明,使用我们的方法生成的摘要训练的分类器通常优于现有模型,并且表现出较高的与人类评估结果的相关性,我们还分析了使用我们的方法生成的摘要的特点。
May, 2022
本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术,旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量,训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。
May, 2023
本文提出了一个由多种最新事实一致性模型组合而成的方案,用于检测流行摘要数据集中的问题。我们发布了具有改进真实一致性的 SummFC 数据集,并证明在几乎所有质量方面,使用该数据集训练的摘要生成模型都能够获得更好的性能。我们认为 SummFC 数据集应成为评估摘要系统的有效基准。
Oct, 2022