丰富保真度的对比搜索：在文本生成中协调忠实度与多样性的权衡

EMNLPOct, 2023

丰富保真度的对比搜索：在文本生成中协调忠实度与多样性的权衡

Fidelity-Enriched Contrastive Search: Reconciling the Faithfulness-Diversity Trade-Off in Text Generation

Wei-Lin Chen, Cheng-Kuang Wu, Hsin-Hsi Chen, Chung-Chi Chen

TL;DR本文针对自然语言生成任务中常见的幻觉问题提出了一种新的解码方法，称为忠实度增强对比搜索（FECS），该方法通过上下文感知的正则化项来增强语义上与提供的来源相似的标记，同时对生成文本的重复性进行惩罚。在抽象化摘要和对话生成两个容易产生幻觉的任务中，我们展示了 FECS 的有效性。结果表明，FECS 不仅能够在不同的语言模型大小上持续提升忠实度，而且还能保持与性能良好的解码算法相当的输出多样性。

Abstract

In this paper, we address the hallucination problem commonly found in natural language generation tasks. Language models often generate fluent and convincing content but can lack consistency with the provided source, resulting in potential inaccuracies. We propose a new decoding method

hallucination problem natural language generation fidelity-enriched contrastive search context-aware regularization terms faithfulness

发现论文，激发创造

提高抽象化摘要中的忠实性

本研究提出了 Faithfulness Enhanced Summarization (FES) 模型，该模型使用 question-answering (QA) 技术检查 encoder 是否完全理解输入文档，并回答关键信息的问题，并引入 max-margin loss 来防止语言模型的过度自信。实验表明，我们的模型在两个基准摘要数据集 CNN/DM 和 XSum 上显著优于强对比模型，并生成比对比模型更符合事实的摘要。

Oct, 2022

通过对比候选生成和选择提高抽象摘要的忠实度

通过对替身候选生成和选择的研究，我们提出了一个模型无关的后处理技术来修正当前神经抽象摘要生成模型中常见的不忠于原始内容的摘要幻觉现象，我们学习了一个判别式修正模型并证明，通过替代抽象式中的具名实体和数量标识来代替同源文本中语义相似类型的实体可以有效识别和修正这些不符合原文本实质的幻觉，希望此方法可以为未来的神经抽象摘要生成方向的研究提供新的思路。

Apr, 2021

坚持事实：自信解码实现忠实数据到文本生成

本文针对数据到文本生成中存在的幻觉问题，提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本，实验结果表明该方法比现有最先进的方法更加忠实于原始数据，并在 WebNLG 数据集上取得强大的表现。

Oct, 2019

用于可信检索扩增生成的同步忠实监控

本文提出了 SynCheck，一种轻量级监控器，可以实时检测不忠实的句子，并通过集成可衡量和互补的信号提供准确和即时的反馈和干预，以改善在长篇检索增强生成任务中对不忠实性错误的检测。此外，作者还介绍了基于 SynCheck 的 FOD 解码算法，通过引导束搜索，在长篇检索增强生成任务中实现了显著的忠实性改进。

Jun, 2024

论抽象化摘要中的忠实度与客观性

分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

May, 2020

通过少量专家示范融合奖励函数，实现忠实准确的知识导向对话生成

开发值得信赖的对话式信息搜索系统依赖于能够基于相关知识文本生成忠实准确响应的对话模型。我们通过引入一种新的奖励函数利用强化学习算法来克服数据偏见和冗余信息的两个主要挑战，并在两个对话式信息搜索数据集上的实证实验中展示了我们的方法可以与其他强大的监督学习基准相竞争。

Nov, 2023

通过实体覆盖控制提高抽象摘要的忠实度

本文提出了一种使用 “实体覆盖控制（Entity Coverage Control，ECC）” 方法来解决预训练语言模型产生的 “幻觉（hallucinate）” 现象的方案，该方法不仅更好地保持了上下文的内容准确性，而且在使用大量噪声数据进行中间优调（intermediate fine-tuning）时，还可以解决无需监督的情况下的提要抽象生成（zero-shot summarization）问题，并证明了该方法在三个不同领域和风格的基准数据集上比其他方法更为有效和鲜明。

Jul, 2022

基于实体挖掘的后期话语优化方法用于忠实的知识驱动对话

提出了一种名为 REM 的后期修饰方法，以增强生成的幻觉话语的质量和忠诚度，通过根据源知识对其进行修饰，减少了话语中的实体幻觉。

Jun, 2024

从实体中心视角探索开放领域表格生成的忠实度

本文旨在评估表格生成的忠实度，并采用两个与实体相关的度量标准来评估生成忠实度，并基于这些数据提出了两种增强训练方法和训练实例选择方法来提高生成保真度，在完整数据集和少量数据集学习中均有所改善。

Feb, 2021

自然语言生成数据集中数据错误的追踪和清除

该研究提出了一种框架，利用基于对比度的算法识别和清除训练数据中的一些低质量样本，从而实现减少自然语言生成任务中的幻觉和不忠实输出的目的。

Dec, 2022