通过深入研究机制，我们发现大型语言模型（LLMs）如何产生幻觉，研究表明 LLMs 在面对不熟悉概念时倾向于默认使用一种 “关于不确定性的预测”，可以通过修改训练数据中的监督来控制 LLMs 对于不熟悉输入的预测，我们基于这些原则，开发了一种 RL 方法，更可靠地减轻大型生成任务中的幻觉问题，并通过多项实验证实了我们的发现。

Mar, 2024

大型语言模型（LLMs）在各种自然语言处理任务上表现出色。然而，它们容易生成流畅但不真实的回复，即 “幻觉”。幻觉可能导致错误信息的传播，并在关键应用中造成伤害。减少幻觉具有挑战性，因为它们来源于嘈杂的数据、模型自信心过度、缺乏知识和生成过程等因素。最近的研究通过表示编辑和解码算法来解决这个问题，实现减少幻觉但不进行重大结构更改或重新训练。然而，这些方法要么隐式地在潜在空间中编辑 LLMs 的行为，要么在解码过程中抑制输出不忠实的结果的倾向，而不是显式地对幻觉进行建模。在本文中，我们介绍了忠实微调（F2），这是一种通过精心设计的损失函数在微调过程中显式地对忠实回答建模的新方法。我们在常用数据集上进行了广泛的实验，并证明 F2 相对于基线模型能够取得显著改进。

Jun, 2024

大型语言模型在回答事实性问题方面很成功，但也容易产生幻觉。我们通过推理动态的角度来调查 LLMs 拥有正确回答知识却仍然出现幻觉的现象，这是以往对幻觉研究中没有涉及的领域。通过两个关键思想，我们能够进行这种分析。首先，我们识别了查询相同三元知识但产生不同答案的实际问题。因此，模型在正确和错误输出上的行为差异提示了幻觉发生的模式。其次，为了测量这种模式，我们利用残差流到词汇空间的映射。我们揭示了在正确和幻觉案例之间，输出令牌概率在模型的不同层深度上的动态差异。在幻觉案例中，输出令牌的信息很少呈现出突然增加以及在模型的后期中始终表现出优势。利用动态曲线作为特征，我们构建了一个能够以 88% 的准确率准确检测幻觉预测的分类器。我们的研究揭示了理解 LLMs 在已知事实中产生幻觉的原因的启示，更重要的是，能够准确预测它们何时产生幻觉。

Mar, 2024

本文分析语言模型在事实知识提取中的应用，发现 finetuning 会造成一个负面现象 - Frequency Shock，导致模型预测能力下降，因此提出两种解决方案（模型混合和混合 finetuning），并验证实验表明这两种解决方案相比原始 finetuning 均获得了显著的改进。

Jan, 2023

最近的语言模型在生成对外观听起来真实但实际上是虚假的文本方面存在神秘的倾向，这对于基于语言的人工智能系统的可用性构成了障碍，并可能对依赖其输出的人造成伤害。本研究表明，预训练语言模型出现虚构某些类型的事实的统计原因是固有的，与变压器 LM 架构或数据质量无关。对于那些无法从训练数据中确定真实性的 “任意” 事实，我们表明，在适用于生成式语言模型的统计校准条件下，产生幻觉是必要的。具体而言，如果任何事实的最大概率受限，则我们表明产生幻觉的概率接近于训练数据中仅发生一次的事实的分数（一种 “Good-Turing” 估计），即使假设没有错误的理想训练数据。一个结论是，预训练模型要成为足够好的预测器（即校准），可能需要进行后期处理以减轻在训练集中只出现一次的任意事实类型的幻觉。然而，我们的分析还表明，预训练不会在训练数据中多次出现的事实（如对文章和书籍的引用等）或系统性事实（如算术计算）上产生幻觉。因此，不同的架构和学习算法可能会减轻这些后一类幻觉。

Nov, 2023

将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

Sep, 2023

该论文通过对多个大型语言模型的行为研究发现，训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素，这些模型在自然语言推断等应用任务中表现出明显的问题。

May, 2023

通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

Nov, 2023

本文研究了 QA 微调数据对下游事实性的影响，证明了微调在不太为人知的事实上时，即使在预训练期间看到了所有事实，其事实性远远不如在众所周知的事实上进行微调，我们的结果揭示了预训练知识和微调数据之间的相互作用，并在为知识密集型任务进行微调时强调了预训练模型中事实存储的重要性。

Jun, 2024

评估大型语言模型的事实记忆能力及其影响因素，涵盖多个领域、知识流行度水平和模型家族，并观察到指令调整对知识召回的负面影响、模型规模对性能的正面影响以及反事实演示对大模型事实知识召回的降低作用。

Apr, 2024