本文提出一种基于物理学的方法，正式定义了文本中五种事实不一致的类型，并依此将一些文章注释为数据集。我们使用这个数据集来训练一个神经模型，以预测在 (索赔、上下文) 句对中的矛盾类型和矛盾实体类型 (当矛盾是由实体引起时)

Jun, 2023

研究提出了 fine-grained inconsistency detection 任务，用于检测文本摘要中的细粒度事实错误类型。通过提出的 FineGrainFact 方法，结合语义帧和语义角色标记来实现明确的事实表示、错误预测和总结改正。结果表明，该模型表现优于强基线模型，为摘要提供了支持或反驳的证据。

May, 2023

本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。

Dec, 2022

本文提出了一个新的综合指标 AlignScore，基于信息对齐来评估各种实际不一致性场景，包含了 7 个知名任务的 4.7M 数据来源的统一训练框架，重点在于我们进行了大量的实验，得出 AlignScore 在测试中的显著优势，且能够匹敌比其大数个数量级的 ChatGPT 和 GPT-4 等度量标准。

May, 2023

该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

Oct, 2019

自动产生的摘要与源文件的实际不一致可能导致错误信息或存在风险。现有的实际一致性（FC）指标受性能、效率和可解释性的限制。大型语言模型（LLM）的最新进展在文本评估方面表现出了显著的潜力，但其在总结中评估 FC 的效果尚未充分探索。本文首先通过引入 TreatFact 数据集来填补这一空白，该数据集包含由领域专家进行 FC 注释的 LLM 生成的临床文本摘要。此外，我们在新闻和临床领域对 11 个 LLM 进行了 FC 评估，并分析了模型大小、提示、预训练和微调数据的影响。研究发现，尽管专有模型在任务上占主导地位，但开源 LLM 仍然落后。然而，通过增加模型大小、扩展预训练数据和开发精心策划的微调数据，有潜力提升开源 LLM 的性能。在 TreatFact 上的实验表明，先前的方法和基于 LLM 的评估器都无法捕捉到临床摘要中的实际不一致性，给 FC 评估提出了新的挑战。

Feb, 2024

本研究探索采用大型语言模型 (DLM) 来评估摘要的事实一致性，并通过对 GPT 模型系列和 Flan-T5 等不同类型的 DLM 进行分析，以及对多种提示方法进行研究，最终证明了直接针对 DLM 的提示方法在各项测试中均优于当前最先进的摘要事实性系统。

May, 2023

通过零样本策略，本研究提出并评估了三种方式来解决实际的矛盾检测问题，并研究了如何精简高效且功效强大的大型语言模型。实验结果表明，适当设计的范式可以使大型语言模型在无需训练的情况下解决此问题，平均超越强训练基线 2.8％。为了进一步提高实用性，我们提出了训练策略，旨在通过高准确性一次对整个摘要进行评分的方式来精简开源大型语言模型，其效果优于较大的零样本大型语言模型，成为一种有效且高效的可即用得分器。

Feb, 2024

本文研究了神经抽象摘要模型在生成的摘要与其原文存在事实上的不一致可能性，提出使用 NLI 模型进行辨别以及如何借助数据生成来提升辨别效果，最终使用 Falsesum 数据集完成了四个基准测试并有所提升。

May, 2022

通过细粒度原子事实分解，我们提出了一种基于摘要和文档的高效、可解释的事实不一致检测方法，这些原子事实代表了更细粒度的信息单元，促进了摘要的详细理解和可解释性。实验结果表明，我们提出的事实一致性检测系统明显优于现有系统。

Apr, 2024