提出一种基于反事实估算的新型度量标准，用于评估文本摘要的事实一致性，能够帮助改善与人类判断的相关性和使用的便利性。

Aug, 2021

该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

Oct, 2019

本文提出了一种解决摘要生成模型中可能存在错误信息的方法，策略包括评估指标度量、新型学习算法、人工评估等，并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。

May, 2021

我们提出了 CLIPBERTScore，一种结合 CLIPScore 和 BERTScore 的加权组合度量方法，用于多模式事实性摘要的评估，并在多个数据集上证明了其效果。

Nov, 2022

本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。

Dec, 2022

通过细粒度原子事实分解，我们提出了一种基于摘要和文档的高效、可解释的事实不一致检测方法，这些原子事实代表了更细粒度的信息单元，促进了摘要的详细理解和可解释性。实验结果表明，我们提出的事实一致性检测系统明显优于现有系统。

Apr, 2024

最近在文本摘要方面的最新进展，尤其是随着大型语言模型（LLM）的出现，其表现出色。然而，存在一个明显的挑战，即大量自动生成的摘要存在事实不一致的问题，如幻觉。针对这个问题，出现了各种检验摘要一致性的方法。然而，这些新引入的度量指标都存在一些限制，包括解释性的缺乏、关注短文档摘要（例如新闻文章）以及计算上的不便，尤其是基于 LLM 的度量。为了解决这些缺点，我们提出了基于自然语言推理和主张提取（FENICE）的事实性评估摘要度量。FENICE 利用了源文件中的信息和从摘要中提取的一组原子事实（称为主张）之间的一个基于 NLI 的对齐。我们的度量在事实性评估的事实上设立了一个新的标杆，即默认标准 AGGREFACT。此外，我们通过进行长篇摘要的人工注释过程，将我们的评估扩展到了更具挑战性的环境中。

Mar, 2024

该研究介绍了一种名为 QAGS 的自动评估协议，用于识别生成的摘要中的事实不一致性，并提供了一种自然的可解释性方法，这种方法是基于提出问题并对摘要和源回答问题的引导下实现的。实验结果表明，与现有的自动评估度量相比，QAGS 具有更高的相关性，并且是一种自动生成可用和事实一致的文本的有希望的工具。

Apr, 2020

本文针对文本摘要模型中的事实一致性问题展开研究，对比了基于蕴含和基于问答的度量方法，并且提出了一种优化的基于问答的度量方法 QAFactEval，相较之前的方法平均提高了 14% 的 SummaC 事实一致性基准测试性能，并且在最好的基于蕴含的方法之上表现更佳。此外，我们发现基于问答和基于蕴含的度量方法可以互补，结合起来可以提高摘要模型的性能

Dec, 2021

本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术，旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量，训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。

May, 2023