通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。

Sep, 2023

通过FactCHD基准测试，评估Large Language Models中事实性的判断，在检测虚假信息方面取得了有效成果，且当前方法在准确检测事实错误方面存在不足。

Oct, 2023

提出的“感应-对比解码”策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

Dec, 2023

基于信息理论的事实，我们提出了一种推理时间方法Self-Highlighted Hesitation (SH2)来帮助大语言模型(Large language models, LLMs)更真实地解码，选择具有较低概率的标记，从而强制模型重复阅读和犹豫，突出输出概率的差异，以有效地引出真实知识并区分虚构的语境。

Jan, 2024

TruthX通过编辑语言模型内部表达的真实空间，有效提高了13个先进语言模型在TruthfulQA基准测试上的真实性表现，平均提升了20%。进一步分析表明，TruthX获取的真实空间在控制语言模型产生真实或幻觉性回答中发挥了关键作用。

Feb, 2024

大型语言模型经常出现虚幻和事实错误，本研究从内部表征的角度探讨了LLM幻觉的潜在机制，并发现了与幻觉相关的显著模式：相对于错误生成，正确生成在上下文令牌的隐藏状态中具有更尖锐的上下文激活。基于这一发现，我们提出了一种基于熵的度量方式来量化上下文隐藏状态中的“尖锐度”，并将其纳入解码过程中，形成一种约束解码方法。在各种知识获取和幻觉评估基准测试上进行的实验表明我们的方法具有持续的有效性，例如在TruthfulQA上获得了高达8.6个百分点的提升。我们相信这项研究可以改善我们对幻觉的理解，并作为幻觉缓解的实用解决方案。

Mar, 2024

使用适应性激活引导（ACT）方法，可以通过调整大型语言模型（LLMs）的激活方向，在推理过程中提高生成内容的真实性。ACT方法通过利用多样化的引导向量并自适应地调整引导强度，有效应对各种类型的虚构现象。在多种模型中附加应用ACT后，如LLaMA，LLaMA2，Alpaca，Vicuna和LLaMA2-Chat，其真实性显著提高（分别提升142％，24％，36％，28％和19％）。此外，我们还验证了ACT在更大规模模型（13B，33B，65B）上的可扩展性，突显ACT对大型语言模型的适应性。

May, 2024

大型语言模型（LLMs）在各种自然语言处理任务上表现出色。然而，它们容易生成流畅但不真实的回复，即“幻觉”。幻觉可能导致错误信息的传播，并在关键应用中造成伤害。减少幻觉具有挑战性，因为它们来源于嘈杂的数据、模型自信心过度、缺乏知识和生成过程等因素。最近的研究通过表示编辑和解码算法来解决这个问题，实现减少幻觉但不进行重大结构更改或重新训练。然而，这些方法要么隐式地在潜在空间中编辑LLMs的行为，要么在解码过程中抑制输出不忠实的结果的倾向，而不是显式地对幻觉进行建模。在本文中，我们介绍了忠实微调（F2），这是一种通过精心设计的损失函数在微调过程中显式地对忠实回答建模的新方法。我们在常用数据集上进行了广泛的实验，并证明F2相对于基线模型能够取得显著改进。

Jun, 2024

通过扩大训练数据集的多样性，研究发现大语言模型中普遍存在一个可以区分正确和错误输出的真实性超平面，从而提供了未来研究的有希望的方向。

Jul, 2024

本研究针对大型语言模型（LLMs）在自然语言处理任务中出现的“幻觉”现象，提出了一种新颖的对比解码框架——LOL（底层至关重要）。通过将原模型与业余模型在最终层和底层的对比解码进行拼接，结合真实度聚焦模块，显著提升了事实编码能力。实验证明，该方法在减轻幻觉方面优于大多数现有基线，且在TruthfulQA的所有指标上平均提高了4.5分。

Aug, 2024