寻求真相:一种审问方法用于幻觉检测
本文调查了近期关于大型语言模型(LLMs)幻觉的检测、解释和缓解的努力,并着重讨论了LLMs所带来的独特挑战,提出了LLM幻觉现象的分类和评估基准,并分析了现有的缓解LLM幻觉方法,探讨了未来研究的潜在方向。
Sep, 2023
该论文提出了AutoHall方法,通过自相矛盾的方式自动构建模型特定的幻觉数据集,然后基于这些数据集实现了无资源和黑盒幻觉检测方法,对开源和闭源大型语言模型进行了实验证明,在幻觉检测性能上优于现有基准模型,并且发现了不同模型之间的幻觉比例和类型的差异。
Sep, 2023
在这份调查中,我们旨在对大型语言模型(LLM)幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手,然后深入探讨了导致幻像的因素。接下来,我们全面介绍了幻像检测方法和基准。此外,我们还相应介绍了用于减轻幻像的代表性方法。最后,我们分析了突出当前限制的挑战,并制定了未来LLM幻像研究的开放问题,旨在描绘发展方向。
Nov, 2023
这篇论文综述了32种技术,旨在减轻大型语言模型中的幻觉问题,其中包括检索增强生成、知识检索、CoNLI和CoVe等方法,并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法,以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外,还分析了这些技术中存在的挑战和局限性,为未来研究提供了坚实的基础。
Jan, 2024
在大型语言模型时代,幻觉(即生成事实不准确的内容)对于在现实应用中可信可靠地部署语言模型构成了巨大的挑战。为了解决语言模型幻觉问题,本研究对幻觉检测、幻觉来源和幻觉缓解这三个重要问题进行了系统的实证研究。研究通过构建一个新的幻觉基准HalualEval 2.0,设计了一种简单而有效的语言模型幻觉检测方法,并深入分析了导致语言模型幻觉的潜在因素。最后,研究实施并检验了一系列常用的技术来缓解语言模型中的幻觉。本研究的工作为理解幻觉的起源以及缓解语言模型中的幻觉问题提供了重要发现。
Jan, 2024
大型语言模型(如ChatGPT、Bard和Llama)在不同领域的应用中取得了显著的成功。然而,虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献,旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。
Jan, 2024
LLMs出现的幻觉指的是LLMs产生的回应在逻辑上是连贯的,但事实上是不准确的。本文引入了一种名为MIND的无监督训练框架,利用LLMs的内部状态实时检测幻觉,无需手动注释,并提出了用于评估多个LLMs幻觉检测的新基准HELM。我们的实验证明,MIND在幻觉检测方面优于现有的最先进方法。
Mar, 2024
通过使用名为RelD的鲁棒性判别器,本文提出了一种有效检测大型语言模型中幻觉问题的方法,并在构建的RelQA双语问答对话数据集上进行了训练。实验结果表明,该方法成功检测到了由不同大型语言模型生成的幻觉回答,且能够区分内部和外部分布数据集中的幻觉问题。此研究为可靠答案的检测做出了重要贡献,并对未来幻觉问题的缓解具有显著的意义。
Jul, 2024
本文探讨了四个大型语言模型(LLMs)(Llama 3、Gemma、GPT-3.5 Turbo和GPT-4)在幻觉生成和检测任务中的能力,并采用集成多数投票的方法将所有四个模型应用于检测任务,结果对于了解这些模型在处理幻觉生成和检测任务中的优势和不足具有有价值的见解。
Jul, 2024
本研究解决了多模态大语言模型(MLLMs)在生成与图像不一致的文本响应时的幻觉现象。提出的LongHalQA是一种无需LLM的幻觉基准,包含6000个复杂幻觉文本,采用与真实场景匹配的方式进行评估,且引入了新的任务以提高评估的可靠性和效率。研究结果揭示了处理长文本数据时MLLMs面临的新挑战,具有重要的应用价值。
Oct, 2024