大型语言模型的自相矛盾幻觉：评估、检测和缓解

May, 2023

大型语言模型的自相矛盾幻觉：评估、检测和缓解

Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation

Niels Mündler, Jingxuan He, Slobodan Jenko, Martin Vechev

TL;DR本文分析了自相矛盾在大型语言模型中的表现，并提出了评估，检测和缓解的方法。研究发现，自相矛盾经常发生，但我们开发的框架可以准确地检测和减少自相矛盾。

Abstract

large language models (large LMs) are susceptible to producing text with hallucinated content. self-contradiction, where the LM generates two contradictory sentences within the same context, is an important form

large language models self-contradiction evaluation detection mitigation

发现论文，激发创造

ContraDoc：对大型语言模型中文档中的自相矛盾进行理解

该研究介绍了 ContraDoc，这是第一个用于研究长文档中自相矛盾的人工注释数据集，通过分析四种最先进的开源和商业化大型语言模型（GPT3.5、GPT4、PaLM2 和 LLaMAv2）在该数据集上的能力，发现 GPT4 表现最佳，但仍然在需要更多细微差别和上下文的自相矛盾方面不可靠。

Nov, 2023

通过自我反思来缓解大型语言模型中的幻想

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

认知幻象：大型语言模型中幻觉的综述

研究总结了最近对大型语言模型中的幻觉现象的有趣见解，提出了一个包含各种文本生成任务中幻觉的新颖分类法，以及理论洞察、检测方法和改进方法，并提出了若干未来的研究方向。

Sep, 2023

通过引发幻觉减轻大型语言模型的幻觉

提出的 “感应 - 对比解码” 策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。在多个模型规模和系列上的实验证明，该方法能有效提高大型语言模型的内容真实性。

Dec, 2023

基于幻觉增强对比学习的多模态大型语言模型

本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

Dec, 2023

针对矛盾对话的红队语言模型

通过探索一种新的矛盾对话处理任务，该研究试图检测和修改会话中的矛盾陈述，以减轻当前语言模型在对话中自相矛盾的问题，并通过开发一个数据集和一个 Red Teaming 框架展示了该任务的有效性，强调了在对话式人工智能中逻辑不一致问题的重要性。

May, 2024

大型语言模型是怀疑论者：输入冲突妄想的假阴性问题

为了解决语言模型生成与输入上下文不一致的响应的偏见问题，本文揭示了一类新的偏见，即输入 - 冲突幻觉。通过实验证明，语言模型在评估语句的正确性时，更偏向于返回虚假的负面判断，表现出更强的过度自信，并研究了上下文和查询重写对于解决偏见问题的有效性。

Jun, 2024

AutoHall: 大型语言模型的自动幻觉数据集生成

该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

Sep, 2023

语言模型幻觉如何滚雪球

语言模型中常见的错误是幻觉，LM 可能会输出错误的断言，但其能够单独识别为不正确。ChatGPT 和 GPT-4 找到的解释的 87％都是错误，这被称为幻觉滚雪球。

May, 2023

幻觉检测与幻觉减缓：一项研究

大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

Jan, 2024