Mar, 2024

基于大型语言模型内部状态的非监督实时幻觉检测

PDF
TL;DRLLMs 出现的幻觉指的是 LLMs 产生的回应在逻辑上是连贯的，但事实上是不准确的。本文引入了一种名为 MIND 的无监督训练框架，利用 LLMs 的内部状态实时检测幻觉，无需手动注释，并提出了用于评估多个 LLMs 幻觉检测的新基准 HELM。我们的实验证明，MIND 在幻觉检测方面优于现有的最先进方法。
发现论文，激发创造
  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • LLMs 的内部状态保持了幻觉检测的能力

    探索 LLM 内部状态中保留的密集语义信息，提出了一种称为 INSIDE 的方法，以更好地评估回答的自我一致性。此外，还探索了一种测试时间特征剪裁方法，以减少内部状态中的极端激活，从而减少自信生成并有助于检测过度自信的幻觉。在数个流行的 LLMs 和问答基准测试上进行了大量实验和消融研究，展示了我们提出方法的有效性。

    Feb, 2024

  • 多模态大型语言模型的统一幻觉检测

    多模态大语言模型（MLLMs）在全方位任务中取得了显著进展，但幻觉问题成为其关键问题之一。我们的研究扩展了对幻觉检测的调查范围，并提出了一个新颖的元评估基准（MHaluBench），以促进幻觉检测方法的发展。我们还推出了一个新颖的统一多模态幻觉检测框架（UNIHD），利用一套辅助工具来强化幻觉检测的有效性，并提供了针对不同幻觉类别的工具应用战略见解。

    Feb, 2024

  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • LLM 对幻觉是否有了解？LLM 隐藏状态的实证研究

    大型语言模型 (LLMs) 可能会产生虚假答案，本研究旨在探讨 LLMs 是否知晓此虚假现象，并研究其反应和程度。通过实验框架检查 LLM 在回答问题和产生虚假回答时的隐藏状态差异，并得出实证发现发现，LLMs 在处理真实回答和虚假回答时有所不同，然后应用各种模型解释技术进一步理解并解释这些发现，同时利用 LLM 隐藏表示空间的引导推导出减少幻觉的潜力。本研究揭示了 LLMs 反应幻觉的答案制备过程，并提出减少其发生频率的方法。

    Feb, 2024

  • 大规模视觉语言模型中的幻觉评估和分析

    基于大型语言模型的幻觉评估框架 (HaELM) 提出了对当前大视觉 - 语言模型 (LVLMs) 进行幻觉评估的方法，并分析了导致幻觉的因素，并提供了缓解幻觉问题的建议。

    Aug, 2023

  • 增强基于不确定性的错觉检测与更强的关注

    本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

    Nov, 2023

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从 LLM 幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来 LLM 幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • 学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

    通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

    Jan, 2024

  • AutoHall: 大型语言模型的自动幻觉数据集生成

    该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

    Sep, 2023