通过后期编辑和语言模型填充纠正抽象摘要中的多样化事实错误
本研究提出了一种后处理校正模块来解决神经抽象汇总系统的事实一致性问题,该模块采用预训练的神经校正模型,能够识别和修正所生成的摘要中的事实错误,并在 CNN / DailyMail 数据集上表现出比先前模型更好的事实一致性的评估结果。
Oct, 2020
研究表明,目前预训练的抽象摘要系统在性能上已经取得了可信的表现,但其输出的摘要常常与输入不符合并存在事实错误。作者探讨了综合和人工标注数据,用于训练模型来识别摘要中的事实错误,并研究了单词、依赖和句子级别的事实性。通过对多个数据集的实验观察,作者认为人工标注的细粒度数据提供了更有效的训练信号,并证明了他们的最佳事实性检测模型能够识别训练数据中的非事实标记,从而使得训练更为准确的抽象摘要模型成为可能。
Apr, 2021
该文章介绍了一种基于对抗数据增广的方法,用于提高 Abstractive summarization system 的 factual correctness, 相关方法包括将同一或不同类别的实体或名词的 WordNet hypernyms 进行替换,实验证明,使用我们的方法对 CNN/Dailymail 和 XSum 等数据集进行训练,可将 factual correctness 平均提高约 2.5 个点。
May, 2022
本文提出了一种基于句子压缩数据的模型无关方法,旨在在保留要点和格式要求的同时消除外在实体错误,从而提高信息摘要生成中的事实一致性,并使用 XSum 数据集进行评估, 实验结果表明,在不影响 ROUGE 的情况下,本文所提出的方法可以提高实体准确性高达 30%。
Nov, 2022
提出一种基于条件生成填空任务的新型事实错误修正模型 FactCloze,通过多维度评估生成更忠实的摘要数据集 SummDSC,实验证实了该方法的有效性,相比基线方法,在多个事实一致性指标上有所改进。
Feb, 2024
本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术,旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量,训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。
May, 2023
本论文提出了一种名为 Span-Fact 的技术,通过单一或多重遮盖策略,利用问题解答模型从系统生成的摘要中选择语义上一致且保留形式结构的实体,从而提高了系统生成的摘要的事实一致性和质量。
Oct, 2020
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果,针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
Dec, 2022
文章提出了一种基于事实感知的自动摘要模型 FASum,通过图注意力来提取和整合摘要生成过程中的事实关系,并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明,基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要,并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。
Mar, 2020
通过分析对知识冲突的鲁棒性,本文研究了基于微调的抽象概括模型,发现并引入了一种可控的反事实数据增广方法来增强事实适应性,并在两种预训练语言模型(PEGASUS 和 BART)以及两个微调数据集(XSum 和 CNN/DailyMail)上实验证明,该方法在实现原始数据集上的事实一致性的同时提高了事实适应性。
Feb, 2024