通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。

Sep, 2023

提出的“感应-对比解码”策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

Dec, 2023

通过提出“CorrelationQA”评估指标，该研究探讨了多模态大型语言模型的困惑问题并发现其存在普遍的本能偏见和缺乏鲁棒性。

Feb, 2024

大型语言模型经常出现虚幻和事实错误，本研究从内部表征的角度探讨了LLM幻觉的潜在机制，并发现了与幻觉相关的显著模式：相对于错误生成，正确生成在上下文令牌的隐藏状态中具有更尖锐的上下文激活。基于这一发现，我们提出了一种基于熵的度量方式来量化上下文隐藏状态中的“尖锐度”，并将其纳入解码过程中，形成一种约束解码方法。在各种知识获取和幻觉评估基准测试上进行的实验表明我们的方法具有持续的有效性，例如在TruthfulQA上获得了高达8.6个百分点的提升。我们相信这项研究可以改善我们对幻觉的理解，并作为幻觉缓解的实用解决方案。

Mar, 2024

本文介绍了一种基于对比的解码方法 CODE，它利用自生成的描述作为对比参考，以解决大型多模式模型 (LMMs) 中幻觉问题，并显著减少幻觉并提高跨模态一致性。

Jun, 2024

大型语言模型（LLMs）在各种自然语言处理任务上表现出色。然而，它们容易生成流畅但不真实的回复，即“幻觉”。幻觉可能导致错误信息的传播，并在关键应用中造成伤害。减少幻觉具有挑战性，因为它们来源于嘈杂的数据、模型自信心过度、缺乏知识和生成过程等因素。最近的研究通过表示编辑和解码算法来解决这个问题，实现减少幻觉但不进行重大结构更改或重新训练。然而，这些方法要么隐式地在潜在空间中编辑LLMs的行为，要么在解码过程中抑制输出不忠实的结果的倾向，而不是显式地对幻觉进行建模。在本文中，我们介绍了忠实微调（F2），这是一种通过精心设计的损失函数在微调过程中显式地对忠实回答建模的新方法。我们在常用数据集上进行了广泛的实验，并证明F2相对于基线模型能够取得显著改进。

Jun, 2024

本研究针对大型视觉语言模型（LVLMs）在多语言场景下产生幻觉的问题进行了首次探索，指出该现象比英语环境下更为严重。提出了一种双阶段的多语言幻觉去除框架，通过跨语言对齐方法优化模型输出，显著提高了13种语言的准确率，平均提高19.0%。

Aug, 2024

本研究解决了大型语言模型（LLMs）生成与可验证事实相悖的内容这一问题。提出的比较器驱动解码时间（CDT）框架通过构建幻觉和真实比较器，利用多任务微调样本，有效限制了模型的响应幻觉，显著提升了下游任务的模型性能和响应的事实性。

Aug, 2024

本文针对多模态大型语言模型中的幻觉问题，提出了一种名为ConVis的新型无训练对比解码方法。通过利用文本生成图像模型，从幻觉字幕中语义重构图像，ConVis有效地减少了幻觉现象，提高了模型的可靠性，展示了其在多种基准测试上的优异表现。

Aug, 2024

本研究解决了多模态大型语言模型（MLLMs）在生成输出时出现幻觉现象的根本原因尚不明了的问题。提出了一种新的动态修正解码方法（DeCo），该方法能适应性地选择适当的前层并将知识比例整合到最终层，从而调整输出。研究表明，DeCo显著降低了幻觉发生率，展现了其在减轻幻觉方面的潜力。

Oct, 2024