提出的 “感应 - 对比解码” 策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

Dec, 2023

我们提出了 Truth-Aware Context Selection（TACS）方法，该方法通过对输入上下文进行真实性检测，并基于每个位置的真实性构建相应的注意力掩码，以选择真实的上下文并丢弃虚假的上下文，有效过滤上下文信息并显著提高大型语言模型的整体响应质量。

Mar, 2024

通过对大规模可重复性研究一个最近提出的上下文感知解码方法（CAD），我们发现在新闻摘要和查询聚焦摘要数据集上，CAD 在提高查询聚焦摘要质量方面表现出色，减少了事实错误 / 幻觉，并且在绝大多数情况下保留了词汇模式的匹配，同时增加了推理时间的计算复杂度，减慢了解码速度。

Dec, 2023

本文提出一种新方法，通过将生成器语言模型的概率输出与特殊的 “文本评论家” 分类器的输出结合起来，以评估输入数据与生成的文本之间的匹配程度，从而减轻神经数据到文本生成中的文字幻觉。实验证明，该方法对 WebNLG 和 OpenDialKG 基准具有改进效果。

Oct, 2023

大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

May, 2024

本文针对数据到文本生成中存在的幻觉问题，提出通过引入自信度分数及变分贝叶斯训练框架来防止生成不受原数据支持的文本，实验结果表明该方法比现有最先进的方法更加忠实于原始数据，并在 WebNLG 数据集上取得强大的表现。

Oct, 2019

大视觉语言模型（LVLMs）通过视觉识别和语言理解相结合，生成连贯且与上下文相关的内容，但仍然存在物体幻觉问题。本文介绍一种名为 Visual Contrastive Decoding（VCD）的简单且无需训练的方法，通过对比原始和失真的视觉输入产生的输出分布，有效降低统计偏差和单模式先验产生物体幻觉的影响，确保生成的内容与视觉输入密切相关，从而产生上下文准确的输出。实验证明，VCD 不需要额外的训练或使用外部工具，在不同的 LVLM 族群中显著减轻了物体幻觉问题。除减轻物体幻觉问题外，VCD 在通用 LVLM 基准测试中也表现出色，展示了其广泛的适用性。

Nov, 2023

本文提出了一种新颖的方法来识别和标记 LLMs perform out of knowledge 的情况，并确保用户获得准确的信息。通过使用上下文和嵌入标签，可以成功地消除生成语言模型中的幻觉。在对测试生成引擎的问题提示进行上下文基线幻觉频率时，观察到了整体幻觉的显着减少。

Jun, 2023

大规模视觉 - 语言模型（LVLMs）在从视觉输入中生成上下文详细和连贯的回答方面越来越熟练。然而，它们在多模态决策和开放性生成方面的应用受到幻觉的明显影响，生成的文本不准确地表示了视觉内容。为解决这个问题，本文引入了 Instruction Contrastive Decoding（ICD）方法，这是一种旨在减少 LVLM 推断过程中幻觉的新方法。我们的方法受到了干扰指令明显加剧多模态融合模块幻觉的观察启发。ICD 对标准和干扰指令的分布进行对比，从而增加了对齐的不确定性，并有效地从原始分布中减去了幻觉概念。通过对鉴别性基准（POPE 和 MME）和生成基准（LLaVa-Bench）进行全面实验，我们证明了 ICD 显著减轻了物体级幻觉和属性级幻觉。此外，我们的方法不仅解决了幻觉问题，还显著提升了 LVLM 的一般感知和识别能力。

Mar, 2024

通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。

Sep, 2023