通过分析相对标记的贡献来确定神经序列生成模型的幻觉内在模型症状，使用这些症状设计出一个轻量级的幻觉检测器，在手动标注的英中和德英翻译测试上优于基于质量估计或大型预训练模型的分类器。

Jan, 2023

本文研究神经机器翻译中的幻觉，提出了两个关键的幻觉方式（源扰动下和语料级别噪声下），并阐述了数据生成过程中的幻觉放大现象，其中 Backtranslation 是一种常见的数据生成方法。

Apr, 2021

我们通过探究模型生成的输入、输出和内部状态中的指标来检测大型语言模型生成中的幻觉，结果表明这些指标在幻觉生成和非幻觉生成之间存在差异，我们进一步通过训练二分类器使用这些指标作为输入特征来将模型生成划分为幻觉和非幻觉，此二分类器的 AUROC 值达到 0.80，并且我们展示了先前的幻觉中的令牌可以预测随后的幻觉。

Dec, 2023

通过特征归因和正则化等方法，提出一种新的损失函数，可以有效降低神经机器翻译中的幻觉错误。

Nov, 2022

本文介绍了一种使用预训练模型和人工标注数据来检测神经序列模型输出中的虚构内容，并在机器翻译和摘要生成等任务中获得显著效果的方法。

Nov, 2020

该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

Sep, 2023

本文提出使用探测方法从模型结构的角度研究机器翻译中幻觉翻译的存在原因，实验发现，幻觉翻译通常伴随缺陷的编码器，特别是嵌入和脆弱的交叉关注，而交叉关注有助于减轻编码器引起的某些错误。

Jun, 2022

本文研究了神经机器翻译中的幻觉问题，提出了一种基于不确定性的检测方法，并探究了 DeHallucinator 方法在测试阶段缓解幻觉的效果。此外，作者还发布了一个标注数据集用于未来研究。

Aug, 2022

最近的语言模型在生成对外观听起来真实但实际上是虚假的文本方面存在神秘的倾向，这对于基于语言的人工智能系统的可用性构成了障碍，并可能对依赖其输出的人造成伤害。本研究表明，预训练语言模型出现虚构某些类型的事实的统计原因是固有的，与变压器 LM 架构或数据质量无关。对于那些无法从训练数据中确定真实性的 “任意” 事实，我们表明，在适用于生成式语言模型的统计校准条件下，产生幻觉是必要的。具体而言，如果任何事实的最大概率受限，则我们表明产生幻觉的概率接近于训练数据中仅发生一次的事实的分数（一种 “Good-Turing” 估计），即使假设没有错误的理想训练数据。一个结论是，预训练模型要成为足够好的预测器（即校准），可能需要进行后期处理以减轻在训练集中只出现一次的任意事实类型的幻觉。然而，我们的分析还表明，预训练不会在训练数据中多次出现的事实（如对文章和书籍的引用等）或系统性事实（如算术计算）上产生幻觉。因此，不同的架构和学习算法可能会减轻这些后一类幻觉。

Nov, 2023

本研究通过系统回顾 14 个数据库，分析了 “AI 幻觉” 这一术语的定义，并将其按应用领域进行分类，发现使用该术语的一致性不足，提出了几个替代术语，并呼吁在涉及多个领域的重要当代 AI 问题上实现更加统一的共识。

Jan, 2024