该论文系统研究了视觉语言预训练模型中对象幻觉问题，从近期最先进的VLP模型，VLP中不同类型的图像编码方式，以及VLP目标的不同方面入手，提出了一种名为ObjMLM的简单而有效的VLP损失，能够减少对象幻觉。实验表明，ObjMLM可以将对象幻觉降低多达17.4%。

Oct, 2022

通过对大型视觉语言模型的系统研究，本论文发现大型视觉语言模型容易出现物体幻影问题，并探讨了视觉指导对幻觉的影响，提出了一种改进的评估方法POPE，以更稳定和灵活的方式评估物体幻影问题。

May, 2023

通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

Nov, 2023

本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

Dec, 2023

通过提出“CorrelationQA”评估指标，该研究探讨了多模态大型语言模型的困惑问题并发现其存在普遍的本能偏见和缺乏鲁棒性。

Feb, 2024

多模式大语言模型(MLLMs)在过去几年中引起了越来越多的关注，但它们可能会生成包含图片中不存在的对象的描述，这被称为对象幻觉。为了消除幻觉，已有的方法手动注释带有和不带幻觉的成对响应，然后采用各种对齐算法改进图像和文本之间的对齐能力。然而，它们在微调阶段需要大量计算资源，并且需要昂贵的人工注释来构建对齐算法所需的成对数据，这些问题可以通过借鉴遗忘思想和提出一种高效的精细遗忘框架(EFUF)来解决，该框架无需成对数据即可消除幻觉。广泛的实验证明我们的方法在保留适度计算开销的同时一致降低了幻觉，同时保持了生成质量。我们的代码和数据集将公开提供。

Feb, 2024

大型视觉语言模型（LVLMs）在生成看似可信但事实上不正确的输出时存在幻觉问题，这损害了它们的可靠性。为了解决这些问题，我们介绍了一个多维度的评估基准和基于大型语言模型（LLM）的两阶段评估框架，通过对现有LVLMs进行实验，证明了我们的评估方法比现有工作更全面、与人类更相关，并且强调了在保持输出信息性的同时解决LVLMs中的幻觉问题的关键平衡。

Apr, 2024

综述着重从细致的分类及持盾人儿的划分、评估基准和减轻方式中就多模式大型语言模型（MLLMs）中产生幻觉的原因进行分析，旨在加深对MLLMs中幻觉的理解，并激发该领域的进一步发展。

Apr, 2024

在LVLM的开放式字幕生成中，细粒度对象定位目标对对象形象幻觉的效果很小或没有效果。

Jun, 2024

本研究针对多模态大型语言模型（MLLMs）在扰动输入下产生不一致内容的问题，提出了第一个专门评估此类幻觉的基准Hallu-PI。我们的实验表明，这些模型在面对扰动输入时的幻觉现象显著，揭示了MLLMs在处理不同类型幻觉时的严重偏差，从而为后续研究提供了新的方向。

Aug, 2024