摘要生成中的话语理解和事实一致性
研究表明,使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要,但是由于摘要的抽象性较高,导致文章中存在失真和伪造的问题,因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。
Apr, 2021
文章提出了一种基于事实感知的自动摘要模型 FASum,通过图注意力来提取和整合摘要生成过程中的事实关系,并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明,基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要,并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。
Mar, 2020
提出了一种新的度量生成摘要与原文事实一致性的方法,并展示了通过简单的过滤训练数据可减少实体幻觉问题。此外,还提出了一个摘要值得关注的实体分类任务及联合实体和摘要生成方法,并在实体层面的指标上得到了进一步的改进。
Feb, 2021
本文提出了一种解决摘要生成模型中可能存在错误信息的方法,策略包括评估指标度量、新型学习算法、人工评估等,并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。
May, 2021
分析了神经文本生成模型在抽象文档摘要生成方面的局限性,并发现这些模型非常容易产生虚假内容。人类评估显示,预训练模型生成的摘要不仅在原始度量标准(即 ROUGE)方面更好,而且在生成忠实和真实摘要方面也更好,文本蕴含度量更好地相关于忠实度,有可能成为自动评估度量标准以及训练和解码标准的前景。
May, 2020
通过对比学习框架和事实度指标的最新发展,本文提出了一种简单而有效的对比学习框架,实证研究表明该框架能够通过对比奖励学习从事实度指标的反馈中学习,从而在人类评估中生成更加符合事实的摘要,这表明学习和评估算法的进一步发展可直接提供更加符合事实的摘要。
Jul, 2023
本文提出了一种新颖的基于 Transformer 编码器 - 解码器结构的体系结构,通过将实体级知识与来自 Wikidata 的结构全球知识结合,改善了摘要不够准确和连贯的问题,实验证明该模型对长文本摘要具有较好的 ROUGE 分数的提高效果。
Jun, 2020
本文提出了一种针对抽象文本摘要的对抗性过程,在其中同时训练了生成模型和判别模型,并使用增强学习构建了生成器,该生成器可以将原始文本作为输入并预测抽象摘要。我们还构建了一个判别器来区分生成的摘要和真实值。经过广泛的实验证明,我们的模型在 CNN / Daily Mail 数据集上达到了具有竞争力的 ROUGE 分数。从质量上看,我们证明了我们的模型能够生成更多抽象、易读和多样化的摘要。
Nov, 2017