Oct, 2023

大型语言模型中幻觉的令人不安出现--广泛定义、量化和规范性改进

HTML
PDF
TL;DR通过细致分类和度、方向及类别上的倾向进行细粒度的幻视建模和缓解，我们提供了两个幻视方向（FM和SL）的全面理解，并将其进一步细分为内在和外在，分为温和、中度和令人担忧的三个严重程度，同时我们还对幻视进行了六种类型的细致分类。此外，我们还提供了包含75,000个样本和人工注释的HallucInation eLiciTation（HILT）数据集。最后，我们提出了Hallucination Vulnerability Index（HVI），该指数可以量化和评估语言模型在产生幻视方面的脆弱性，并作为人工智能相关政策制定的标准工具。
发现论文，激发创造
  • 谈话模型产生幻觉的起因：是数据集还是模型？

    这篇论文研究了知识驱动的对话模型中的幻觉问题，通过广泛的人类研究发现标准测试数据集中有超过60％的幻觉响应，导致模型产生幻觉现象。提出了关于训练数据和模型质量的重要问题，并为未来的研究提供了公开的批注。

    Apr, 2022

  • 通过关联分析量化和归因大型语言模型的幻觉

    通过结合幻觉水平量化和幻觉原因调查的关联分析，我们能够观察到每个风险因素的每个值下的幻觉水平，检查每个风险因素的贡献和统计显著性，同时排除其他因素的混淆效应，进一步揭示大型语言模型中常识记忆、关系推理和指令遵循等潜在缺陷，为预训练和监督微调过程提供指导，以减轻幻觉问题。

    Sep, 2023

  • 认知幻象：大型语言模型中幻觉的综述

    研究总结了最近对大型语言模型中的幻觉现象的有趣见解，提出了一个包含各种文本生成任务中幻觉的新颖分类法，以及理论洞察、检测方法和改进方法，并提出了若干未来的研究方向。

    Sep, 2023

  • 大型语言模型中的幻觉调查：原则、分类、挑战与开放问题

    在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从LLM幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来LLM幻像研究的开放问题，旨在描绘发展方向。

    Nov, 2023

  • 幻觉检测与幻觉减缓：一项研究

    大型语言模型（如ChatGPT、Bard和Llama）在不同领域的应用中取得了显著的成功。然而，虚假生成是限制其广泛应用的关键问题。本报告意在综述虚假生成检测和虚假生成减轻的现有文献，旨在为对大型语言模型和将其应用于实际任务感兴趣的工程师和研究人员提供参考。

    Jan, 2024

  • 在LLMs中重新定义“幻觉”：朝着心理学指导的框架缓解错误信息

    通过基于认知偏见和其他心理现象的心理分类学，我们质疑将“幻觉”一词应用于大型语言模型，并利用人类内部解决类似挑战的见解来开发缓解LLMs幻觉的策略，为提高LLM的可靠性提供细致精确的理解和可操作的途径。

    Feb, 2024

  • 内部表征视角下的上下文锐度作为警报：减轻幻觉

    大型语言模型经常出现虚幻和事实错误，本研究从内部表征的角度探讨了LLM幻觉的潜在机制，并发现了与幻觉相关的显著模式：相对于错误生成，正确生成在上下文令牌的隐藏状态中具有更尖锐的上下文激活。基于这一发现，我们提出了一种基于熵的度量方式来量化上下文隐藏状态中的“尖锐度”，并将其纳入解码过程中，形成一种约束解码方法。在各种知识获取和幻觉评估基准测试上进行的实验表明我们的方法具有持续的有效性，例如在TruthfulQA上获得了高达8.6个百分点的提升。我们相信这项研究可以改善我们对幻觉的理解，并作为幻觉缓解的实用解决方案。

    Mar, 2024

  • 视觉幻觉：定义、量化和规范化疗法

    本研究针对视觉-语言模型中的幻觉进行细致的分析，并通过图像字幕和视觉问答两个任务，确定了八个精细化的视觉幻觉方向：上下文猜测、身份不一致、地理错误、视觉错觉、性别异常、VLM作为分类器、错误阅读和数字不一致。同时，还提供了一个包含2,000个样本的公开数据集VHILT，用于研究这些类别的视觉幻觉。

    Mar, 2024

  • 自信的无意义？：自然语言处理中“幻觉”观点和挑战的关键调查

    通过对103篇NLP研究的批判性审查，我们调查了大型语言模型中幻觉的特点；通过对社会学和技术文献的全面审阅，我们发现了对“幻觉”一词缺乏共识；此外，我们对171名NLP和AI领域的从业者进行了一项调查，以了解对幻觉的不同观点；我们的分析强调了在NLP中明确定义和框架定位幻觉的必要性，突出了可能的挑战，而我们的调查结果提供了对幻觉对社会影响和后果的主题性理解。

    Apr, 2024

  • 我们能捉住大象吗？自然语言生成中幻觉评估的演变：综述

    自然语言生成（NLG）中的幻觉就像房间里的大象，明显却经常被忽视，直到最近取得了显著进展，提高了生成文本的流畅性和语法准确性。对于大型语言模型（LLMs），幻觉可能在各种下游任务和随意对话中发生，需要准确评估以提高可靠性和安全性。然而，目前关于幻觉评估的研究存在很大的差异，人们仍然难以整理和选择最合适的评估方法。此外，随着自然语言处理研究逐渐转向LLMs领域，这一问题带来了新的挑战。本文对幻觉评估方法的发展进行了全面调查，旨在解决三个关键方面的问题：1）事实的多样定义和粒度；2）自动评估器的分类及其适用性；3）未解决的问题和未来的方向。

    Apr, 2024