研究总结了最近对大型语言模型中的幻觉现象的有趣见解，提出了一个包含各种文本生成任务中幻觉的新颖分类法，以及理论洞察、检测方法和改进方法，并提出了若干未来的研究方向。

Sep, 2023

本文阐述了人工智能幻觉的根本原因及其在人工智能中的重要意义，并就幻觉分类进行了研究，包括机器翻译、问答系统、对话系统、摘要系统、基于大语言模型的知识图谱以及视觉问答等多个任务。同时，本研究探讨了缓解幻觉的潜在策略，旨在提高大语言模型的整体可靠性。该研究属于 HeReFaNMi（Health-Related Fake News Mitigation）项目的一部分，该项目得到 NGI Search 的慷慨支持，旨在抑制互联网上健康相关虚假新闻的传播，致力于在不断演进的人工智能技术时代保护信息传播的完整性。

Nov, 2023

通过总结当前人工智能中的幻觉工作并提出一些未来研究方向，我们对人工通用智能中的幻觉问题进行了全面的概述。

Jan, 2024

本研究针对视觉 - 语言模型中的幻觉进行细致的分析，并通过图像字幕和视觉问答两个任务，确定了八个精细化的视觉幻觉方向：上下文猜测、身份不一致、地理错误、视觉错觉、性别异常、VLM 作为分类器、错误阅读和数字不一致。同时，还提供了一个包含 2,000 个样本的公开数据集 VHILT，用于研究这些类别的视觉幻觉。

Mar, 2024

尽管自然语言生成（NLG）和大语言模型（LLMs）取得了令人印象深刻的进展，但研究人员对 NLG 评估的重要方面仍不清楚。为了证实这一观点，我检查了数据文本 NLG 中关于幻觉和省略的当前分类，并提出了基于逻辑的这些分类的综合。最后，我强调了关于幻觉的所有当前思考的一些残留限制，并讨论了对 LLMs 的影响。

Jan, 2024

通过基于认知偏见和其他心理现象的心理分类学，我们质疑将 “幻觉” 一词应用于大型语言模型，并利用人类内部解决类似挑战的见解来开发缓解 LLMs 幻觉的策略，为提高 LLM 的可靠性提供细致精确的理解和可操作的途径。

Feb, 2024

通过细致分类和度、方向及类别上的倾向进行细粒度的幻视建模和缓解，我们提供了两个幻视方向（FM 和 SL）的全面理解，并将其进一步细分为内在和外在，分为温和、中度和令人担忧的三个严重程度，同时我们还对幻视进行了六种类型的细致分类。此外，我们还提供了包含 75,000 个样本和人工注释的 HallucInation eLiciTation（HILT）数据集。最后，我们提出了 Hallucination Vulnerability Index（HVI），该指数可以量化和评估语言模型在产生幻视方面的脆弱性，并作为人工智能相关政策制定的标准工具。

Oct, 2023

人工智能生成内容的进化朝着更高质量的方向发展，与人工智能生成内容的不断交互给数据驱动的人工智能社区带来了新的挑战：尽管 AI 生成的内容在广泛的 AI 模型中扮演着关键角色，但它们引入的潜在风险尚未得到充分的审查。本研究突出了由 AI 合成图像引起的大型视觉语言模型中的严重幻觉现象，结果发现合成图像引起的物体幻觉特点是数量更多且位置分布更均匀，即使这些合成图像与自然图像相比没有呈现非现实或额外相关的视觉特征。此外，我们对 Q-former 和线性投影仪的研究发现，视觉投影后合成图像可能呈现令牌偏差，从而放大幻觉偏差。

Mar, 2024

通过原型设计、扩展和利用人类反馈对 LLMs 进行演化的三个阶段，以及本文中提出的新的数据生成模块，有助于确保生成式 AI 聊天机器人、自动报告和警报的可靠性和高质量，以支持关键的决策过程。

Nov, 2023

通过综合调查，我们分析了大型视觉语言模型（LVLMs）中的幻觉问题，以建立一个概览并为未来的缓解工作提供帮助。调查包括对 LVLMs 中幻觉的概念澄清、幻觉症状的多样性及存在的挑战、以及评估 LVLMs 幻觉的基准和方法论的概述。此外，我们深入研究了这些幻觉的根本原因，包括对训练数据和模型组件的认知。我们还对缓解幻觉的现有方法进行了批判性回顾，并讨论了关于 LVLMs 中幻觉的未解问题和未来研究方向。

Feb, 2024