针对当前大型视觉 - 语言模型在生成回复和相应图像之间存在的不一致问题，本研究提出了一种名为 DFTG 的有针对性的指导数据生成框架，通过诊断模型的响应和图像，生成有针对性的指导数据以减轻幻觉问题。实验结果表明，与先前的数据集相比，我们的方法生成的有针对性指导数据在减轻幻觉方面更加有效。

Apr, 2024

大型语言模型 (LLM) 中的幻觉问题已取得显著进展，但如何评估 LLMs 的可靠性仍然具有挑战性。本文通过生成评估数据的方法对现有数据进行适当修改，以使用 AutoDebug 框架生成可转移的对抗攻击示例，并研究这些示例触发 LLMs 幻觉行为的程度。实验结果表明，LLMs 在两类问答场景中易产生幻觉，并且我们的方法生成的对抗示例在所有考虑到的 LLMs 之间可转移。

Oct, 2023

该研究旨在调查和减轻多模态大型语言模型中的幻觉毒性，针对机器生成的视觉指令数据集中的对象、关系和属性幻觉进行检测和消除，并通过对数据分布进行对抗因果视觉指令扩展来增强模型对幻觉的抵抗能力。

Nov, 2023

本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

Dec, 2023

本文主要研究了多模式大型语言模型（MLLMs）在生成文本时存在的对象虚构问题，并提出了一种对抗调整的方法来减轻虚构现象，其中通过选择性地改变真实信息来通过生成性数据增强产生虚构的标记，从而提高真实标记相对于虚构标记的相对可能性，实验证实了这种方法在减轻虚构现象上的有效性，而且这种方法简单、快速，需要很少的训练且在推理过程中没有额外的开销。

May, 2024

介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

Aug, 2023

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

Apr, 2024

当面临以前产生的幻觉相关查询时，大型视觉 - 语言模型 (LVLMs) 会受到幻觉的影响而做出错误响应吗？这篇论文提出了一个评估 LVLMs 行为的框架，结果显示开源 LVLMs 的性能下降了至少 31％，进一步提出了一个名为 Residual Visual Decoding 的无需训练的方法来缓解多模态幻觉扩散现象。

Jun, 2024

通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

Nov, 2023