Jun, 2024

LLM 幻觉检测的概率框架：基于信念树传播

PDF
TL;DR本文提出了一种基于概率的框架 Belief Tree Propagation（BTProp）用于 LLM 产生语句的幻觉检测，通过引入逻辑相关语句的置信树与隐藏马尔可夫树模型，以系统性的方式整合 LLM 在这些语句中的置信分数，实验结果表明我们的方法在多个幻觉检测基准测试中相对于基线提升了 3% - 9%（通过 AUROC 和 AUC-PR 评估）。
hallucination detectionllm-generated statementsbelief tree propagationprobabilistic frameworkhidden markov tree model
发现论文，激发创造
  • 基于马尔可夫链的多主体辩论框架用于检测 LLM 虚构

    我们提出了基于马尔可夫链的多代理辩论验证框架，用于增强简要声明中的错误检测准确性，并通过包括声明检测、证据检索和多代理验证在内的事实检查过程集成验证的方法。实验证明，我们的方法在三个生成任务中相比基准线实现了显著改进。

    Jun, 2024

  • 寻求真相：一种审问方法用于幻觉检测

    通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

    Mar, 2024

  • OPDAI 在 SemEval-2024 任务 6 中：小型 LLM 可以利用弱监督数据加速幻觉检测

    该论文主要描述了一个统一的系统，用于检测 LLM 的幻觉，该系统在 SemEval-2024 任务 6 的模型不可知轨道中获得了第二名，并在模型感知轨道中取得了可观的结果。

    Feb, 2024

  • 黑暗之后的黎明：大型语言模型中的事实错觉的实证研究

    在大型语言模型时代，幻觉（即生成事实不准确的内容）对于在现实应用中可信可靠地部署语言模型构成了巨大的挑战。为了解决语言模型幻觉问题，本研究对幻觉检测、幻觉来源和幻觉缓解这三个重要问题进行了系统的实证研究。研究通过构建一个新的幻觉基准 HalualEval 2.0，设计了一种简单而有效的语言模型幻觉检测方法，并深入分析了导致语言模型幻觉的潜在因素。最后，研究实施并检验了一系列常用的技术来缓解语言模型中的幻觉。本研究的工作为理解幻觉的起源以及缓解语言模型中的幻觉问题提供了重要发现。

    Jan, 2024

  • 增强基于不确定性的错觉检测与更强的关注

    本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法，通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。

    Nov, 2023

  • AutoHall: 大型语言模型的自动幻觉数据集生成

    该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

    Sep, 2023

  • 基于大型语言模型内部状态的非监督实时幻觉检测

    LLMs 出现的幻觉指的是 LLMs 产生的回应在逻辑上是连贯的，但事实上是不准确的。本文引入了一种名为 MIND 的无监督训练框架，利用 LLMs 的内部状态实时检测幻觉，无需手动注释，并提出了用于评估多个 LLMs 幻觉检测的新基准 HELM。我们的实验证明，MIND 在幻觉检测方面优于现有的最先进方法。

    Mar, 2024

  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如 ChatGPT、Bard 和 Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • 大规模语言模型生成中的幻觉检测：基于词元概率的方法

    使用两个简单的分类器和从其他 LLM 评估器获得的四个数值特征，本文引入了一种监督学习方法，取得了有希望的结果，并在三个不同基准测试中超越了当前最先进的成果。

    May, 2024

  • LLM 激活中的幻觉弱监督检测

    我们提出了一种审计方法，用于确定大型语言模型中是否编码了诸如幻觉等模式，并可向下游任务传播。我们引入了一种弱监督的审计技术，使用子集扫描方法来检测预训练模型中 LLM 激活的异常模式。重要的是，我们的方法不需要先验知识来了解模式的类型，而是依赖于在测试期间不含异常的参考数据集。此外，我们的方法还可以确定编码这些模式的关键节点，这可能为细调特定子网络以减轻偏见提供关键见解。我们引入了两种新的扫描方法来处理可能偏离预期分布的异常句子中的 LLM 激活。我们的结果证实了 BERT 在编码幻觉方面内部能力有限，而 OPT 似乎能够在内部编码幻觉信息。重要的是，我们的扫描方法在没有事先暴露于虚假陈述的情况下，表现出与完全监督的离群样本分类器相当的性能。

    Dec, 2023