本文提出了一种评估总结系统忠实度的框架，通过生成一个在抽象程度不同操作点的抽象 - 提取度交替曲线来作为控制，然后展示作者提出的一种方法以及目前的 MLE 基准都在相同的抽象水平上比控制更差。接着，我们学习了一个选择器来确定给定文档最忠实和最抽象的总结，并显示该系统能在二个数据集上通过人类评估获得更高的忠实度分数，并比基准系统更具抽象性。此外，我们展示了本系统能够实现更好的抽象 - 提取度交替权衡。

Aug, 2021

提出了一种基于句法和信息提取的双重注意序列到序列框架，该框架旨在解决抽象汇总中存在的虚假事实问题，并使生成的汇总同时具有信息丰富性和语义准确性。

Nov, 2017

本文提出了一种系统评估对话摘要的方法，并通过人工分析发现现有模型中有超过 35% 生成的摘要与原始对话不符，其评估工具与样本数据可用于未来的研究。

Oct, 2022

本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用，发现对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，我们还采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术。最后提出 T0-Score 度量方法，其在多个领域上均能稳定提高评价性能。

Nov, 2022

该研究提出了一种基于自动问答的 faithfulness 评估度量方式（FEQA），并发现当前的神经抽象概括模型存在抽象度和忠实度的权衡关系。

May, 2020

分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

May, 2020

本文介绍了如何通过使用两个阶段的方法（提取和生成）来提高 ChatGPT 的提取式摘要性能，结果显示，使用该方法相较于抽象式 baseline，提高了摘要的忠实度表现，但与现有的监督系统相比，ChatGPT 的提取式摘要性能仍具有不足之处。

Apr, 2023

本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

Oct, 2022

通过对虚构书籍的长篇小说生成概述的大规模人类评估，本论文揭示了长篇大语境语言模型在生成摘要时的忠实度和内容选择方面的问题，并且提出了检测生成的摘要中不忠实内容的重要性，同时也探讨了在书籍概述中与关键故事元素相关的遗漏错误以及朝末尾发生事件的系统过度强调。

Apr, 2024

本文研究了文本自动摘要中的事实正确性问题，提出了减少混淆因素的多任务模型，并且实现了在 AnswerSumm 数据集上准确性和信实度均有提升。

Dec, 2022