基于大型语言模型的文本生成具有吸引力，但生成的抽象摘要可能存在解释错误的 “幻觉”。本研究使用一套无监督指标来评估摘要的一致性，并与人工评估得分进行相关性分析。研究发现，基于大型语言模型的方法在幻觉检测方面优于其他无监督指标，而集合方法可以进一步提升性能。最后，本研究提出了一种新的集合方法，比之前的方法有更好的结果。

Oct, 2023

减少幻觉的输出或概括长文本文档摘要的幻觉是本论文的目标。通过在 Longformer Encoder-Decoder (LED) 模型的微调中结合数据过滤和联合实体与摘要生成（JAENS）技术，我们使用 PubMed 数据集来改善产生的摘要质量，并测量了实体级别的事实一致性。实验结果显示，经过微调的 LED 模型在生成论文摘要方面表现良好，基于一些预处理步骤的数据过滤技术能够减少生成摘要中的实体级别幻觉，从而提高了事实一致性指标。

Sep, 2023

本文发现了一个简单的标准 —— 模型不确定性高 —— 会导致生成更多的错误内容（即幻觉），并提出了一种解码策略，该策略在存在不确定性时优化源和目标单词的点间互信息，从而减少幻觉的出现，并在 XSum 数据集上进行了实验证明，该方法降低了幻觉的概率，同时保持了黄色和 BertS 得分。

Oct, 2022

通过自然语言推理对训练数据进行预处理，缩短输入序列的远程依赖关系并添加与图表相关的信息，可以显著降低神经图表摘要中的幻觉。

Aug, 2023

本文旨在填补对非英语语境下自动幻觉检测技术效果的认识空白，通过评估各种检测度量标准（包括 ROUGE、命名实体重叠和基于自然语言推理的度量标准）在许多语言的传记摘要中检测幻觉的效能，并评估不同度量标准之间的相关性，以衡量它们是否测量相同的现象。实证分析表明，虽然词汇度量标准显示出有限的效果，但基于自然语言推理的度量标准在高资源语言的句子级别上表现良好。相反，基于自然语言推理的度量标准在检测原子事实幻觉时通常失败。我们的研究结果突显出多语言幻觉检测领域中的现有空白，并激励未来研究开发更稳健的方法来检测其他语言中的低资源模型幻觉。

Feb, 2024

这篇论文通过深入探讨大型语言模型在幻觉方面的行为，定义了一种基于标记的方法以识别不同类型的幻觉，并进一步利用这种标记方法提高对话摘要任务中语言模型的可解释性和忠实度，同时提出了一个新的改进数据集和训练范式。

Dec, 2023

本研究分析了抽象摘要系统中的幻觉现象，发现是因为模型使用不受原文支持的目标摘要进行训练。基于这一发现，提出了 PINOCCHIO 新解码方法来提高 Transformer-based 抽象摘要器的一致性，并在实验中表现良好。

Mar, 2022

分析了神经文本生成模型在抽象文档摘要生成方面的局限性，并发现这些模型非常容易产生虚假内容。人类评估显示，预训练模型生成的摘要不仅在原始度量标准（即 ROUGE）方面更好，而且在生成忠实和真实摘要方面也更好，文本蕴含度量更好地相关于忠实度，有可能成为自动评估度量标准以及训练和解码标准的前景。

May, 2020

这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

Jan, 2024

本文综述了关于深度学习在自然语言生成中出现幻觉问题的度量、缓解方法和未来方向，以及针对抽象摘要、对话生成、生成式问答、数据到文本生成、机器翻译和视觉语言生成的幻觉问题的任务特定研究进展。

Feb, 2022