及时处理,节省九倍:通过验证低置信度生成结果来检测和减轻LM的幻觉
本研究引入了 Hallucination Evaluation for Large Language Models(HELMA)基准来评估 LLM 的幻觉表现,并提出了基于 ChatGPT 的取样-过滤框架来生成大规模的,人类标注的幻觉数据集,并指出 ChatGPT 生成幻觉的概率较大,现有的 LLM 在识别文本幻觉方面面临巨大挑战,但可通过提供外部知识或添加推理步骤来改善表现。
May, 2023
通过引入一种名为【自我检测】的新技术,本研究提出了一种预防性策略来减少大型语言模型中的“幻觉”现象,实验证明该技术在幻觉检测方面表现优异,对于提高语言助手的可靠性、适用性和解释性具有重要意义。
Sep, 2023
研究总结了最近对大型语言模型中的幻觉现象的有趣见解,提出了一个包含各种文本生成任务中幻觉的新颖分类法,以及理论洞察、检测方法和改进方法,并提出了若干未来的研究方向。
Sep, 2023
在这份调查中,我们旨在对大型语言模型(LLM)幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手,然后深入探讨了导致幻像的因素。接下来,我们全面介绍了幻像检测方法和基准。此外,我们还相应介绍了用于减轻幻像的代表性方法。最后,我们分析了突出当前限制的挑战,并制定了未来LLM幻像研究的开放问题,旨在描绘发展方向。
Nov, 2023
我们介绍了一种名为Ever的新方法,通过实时检验和矫正策略,解决大语言模型生成的不准确或虚构内容的问题,并在各种任务中,包括短问题回答、传记生成和多跳推理等方面,相比基于检索和非检索的基准模型,明显提高了生成值得信赖和事实准确的文本的能力。
Nov, 2023
这篇论文综述了32种技术,旨在减轻大型语言模型中的幻觉问题,其中包括检索增强生成、知识检索、CoNLI和CoVe等方法,并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法,以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外,还分析了这些技术中存在的挑战和局限性,为未来研究提供了坚实的基础。
Jan, 2024
在大型语言模型时代,幻觉(即生成事实不准确的内容)对于在现实应用中可信可靠地部署语言模型构成了巨大的挑战。为了解决语言模型幻觉问题,本研究对幻觉检测、幻觉来源和幻觉缓解这三个重要问题进行了系统的实证研究。研究通过构建一个新的幻觉基准HalualEval 2.0,设计了一种简单而有效的语言模型幻觉检测方法,并深入分析了导致语言模型幻觉的潜在因素。最后,研究实施并检验了一系列常用的技术来缓解语言模型中的幻觉。本研究的工作为理解幻觉的起源以及缓解语言模型中的幻觉问题提供了重要发现。
Jan, 2024
通过主题分析,我们对生成的代码进行了总结和分类,建立了包括五个主要类别的幻觉的综合分类法。基于结果,我们提出了一个评估代码 LLM 性能的基准,名为 HalluCode,并通过 HalluCode 和 HumanEval 进行了幻觉识别和减轻实验,结果表明现有的 LLM 在识别幻觉方面面临巨大挑战,尤其是在识别幻觉类型方面,几乎无法减轻幻觉。我们相信我们的研究结果将为幻觉评估、检测和减轻的未来研究提供指导,为建立更有效可靠的代码 LLMs 铺平道路。
Apr, 2024
使用两个简单的分类器和从其他LLM评估器获得的四个数值特征,本文引入了一种监督学习方法,取得了有希望的结果,并在三个不同基准测试中超越了当前最先进的成果。
May, 2024
该研究解决了大型语言模型中幻觉问题,即生成不准确内容的挑战,并指出现有方法的不足。论文提出THaMES,一个综合框架,能够自动生成测试集并评估幻觉的减轻效果,通过多种策略优化模型能力,结果表明商用模型在特定情况下更依赖不同的减轻策略,且参数高效微调显著提升模型表现。
Sep, 2024