Chainpoll:一种高效的 LLM 幻觉检测方法
通过多个数据集和大型语言模型,包括 Llama-2,对该模型的幻觉水平进行广泛评估,并展示了我们的方法在自动检测幻觉方面的有效性,达到了 87% 的平衡准确率,而无需依赖外部知识。
Mar, 2024
我们提出了 PoLLMgraph,一种用于大型语言模型的多种同类白盒检测和预测方法,通过分析生成过程中 LLM 的内部状态转换动态来有效地检测虚构现象,实验证明其比现有方法在 TruthfulQA 等常见基准数据集上具有 20% 以上的 AUC-ROC 改进效果,为 LLM 的模型化白盒分析开辟了新的途径。
Apr, 2024
该论文提出了 AutoHall 方法,通过自相矛盾的方式自动构建模型特定的幻觉数据集,然后基于这些数据集实现了无资源和黑盒幻觉检测方法,对开源和闭源大型语言模型进行了实验证明,在幻觉检测性能上优于现有基准模型,并且发现了不同模型之间的幻觉比例和类型的差异。
Sep, 2023
本文提出了一种新颖的无参考、基于不确定性的大语言模型 (LLM) 幻觉检测方法,通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性(如类型和频率),实现了最新的检测方法,消除了对额外信息的需求。
Nov, 2023
大型语言模型(如 ChatGPT、Bard 和 Llama)在不同领域的应用中取得了显著的成功。然而,虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献,旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。
Jan, 2024
我们提出了基于马尔可夫链的多代理辩论验证框架,用于增强简要声明中的错误检测准确性,并通过包括声明检测、证据检索和多代理验证在内的事实检查过程集成验证的方法。实验证明,我们的方法在三个生成任务中相比基准线实现了显著改进。
Jun, 2024
这篇论文综述了 32 种技术,旨在减轻大型语言模型中的幻觉问题,其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法,并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法,以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外,还分析了这些技术中存在的挑战和局限性,为未来研究提供了坚实的基础。
Jan, 2024
在这份调查中,我们旨在对大型语言模型(LLM)幻像领域的最新进展进行全面而深入的概述。我们从 LLM 幻像创新分类入手,然后深入探讨了导致幻像的因素。接下来,我们全面介绍了幻像检测方法和基准。此外,我们还相应介绍了用于减轻幻像的代表性方法。最后,我们分析了突出当前限制的挑战,并制定了未来 LLM 幻像研究的开放问题,旨在描绘发展方向。
Nov, 2023
该论文介绍了幻觉排行榜,一个旨在定量衡量和比较每个模型产生幻觉倾向的开放性倡议,通过一系列综合评估模型的基准测试,如准确性和忠实度等方面,涵盖了问答、摘要和阅读理解等不同任务,为研究人员和实践者指导选择最可靠的模型。
Apr, 2024
使用两个简单的分类器和从其他 LLM 评估器获得的四个数值特征,本文引入了一种监督学习方法,取得了有希望的结果,并在三个不同基准测试中超越了当前最先进的成果。
May, 2024