研究了深度神经模型在自然语言生成任务中容易出现虚假或不存在的事实，分析了预测不确定性与虚假信息之间的关系，提出了一种简单的扩展 beam 搜索算法来减少虚假信息。研究表明，更高的预测不确定性与更高的虚假信息存在相关性，认知不确定性比卡方不确定性和总不确定性更能表明虚假信息。探索了标准指标性能和虚假信息量的平衡，证明了所提出的扩展 beam 搜索算法的有效性。

Mar, 2021

本文通过反事实推理方法分析了幻觉问题背后的因果关系，提出了一种可能的解决方案，即通过利用对话 - 知识交互来减轻幻觉，在不影响对话性能的同时适应不同的生成模型。希望我们的努力能够支持并呼吁更多重视开发轻量级技术以实现强大可靠的对话系统。

Apr, 2024

大型语言模型中的可信且不正确的事实信息生成问题被称为幻觉，本研究通过开发验证链 (Chain-of-Verification) 方法来研究语言模型在给出回答时是否能够决策并修正其错误，实验结果表明验证链方法能够降低幻觉的生成。

Sep, 2023

本研究提出了一种生成 - 修正策略的模型 Neural Path Hunter ，利用知识图谱的 k-hop 子图修正神经对话模型生成的结果以提高结果的正确性，并在 OpenDialKG 数据集上进行了实验证明在信实度上有 20.35% 的相对提升。

Apr, 2021

我们提出了语义熵探针 (SEPs)，这是一种在大型语言模型 (LLMs) 中用于量化不确定性的廉价可靠方法。

Jun, 2024

大型语言模型 (LLMs) 展示了令人瞩目的人类级自然语言生成能力。然而，它们产生误信息的潜力，通常被称为幻觉问题，给其应用带来了重大风险。为了克服这些限制，我们提出了一种称为 KCTS（知识约束树搜索）的知识约束解码方法，通过知识分类器分数和 MCTS（蒙特卡洛树搜索），在每个解码步骤上引导冻结模型生成与参考知识一致的文本。为了将序列级知识分类器适应为标记级的指导，我们还提出了一种新的标记级幻觉检测方法称为 RIPA（奖励拐点近似）。我们在知识基础对话和抽象概括的实证结果上展示了 KCTS 的强大实力，作为一种即插即用、模型不可知的解码方法，能有效减少自然语言生成中的幻觉。

Oct, 2023

通过引入语义感知的交叉检查一致性（SAC^3）方法，我们重新审视了现有的基于语言模型自一致性的幻觉检测方法，并发现了两种无法通过自一致性检查有效识别的幻觉类型，即问题级和模型级，并通过利用包括语义等效问题扰动和交叉模型响应一致性检查在内的先进方法来检测这两种幻觉，通过大量系统的经验分析，我们证明了 SAC^3 在检测多个问答和开放领域生成基准中的非事实和事实陈述方面优于现有技术。

Nov, 2023

本文综述了关于深度学习在自然语言生成中出现幻觉问题的度量、缓解方法和未来方向，以及针对抽象摘要、对话生成、生成式问答、数据到文本生成、机器翻译和视觉语言生成的幻觉问题的任务特定研究进展。

Feb, 2022

大型语言模型可通过引入语义多样性来量化生成过程中的预测不确定性，从而减少虚构性的生成，提高模型可靠性，并在问题回答任务中取得了优于现有方法的结果，同时在计算效率上也有了突破。

Jun, 2024

本研究探索了通过比较生成文本与事实参考之间的语义相似性以及互相评判的语言模型集成方法来检测虚构的方法，并指出了虚构检测的挑战以及进一步研究的必要性。

Apr, 2024