通过无分类器引导在大型视觉语言模型中减轻物体幻觉

Feb, 2024

通过无分类器引导在大型视觉语言模型中减轻物体幻觉

Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance

Linxi Zhao, Yihe Deng, Weitong Zhang, Quanquan Gu

TL;DR通过 MARINE 框架，可以在生成过程中有效地减少大视觉 - 语言模型的假象，并提高生成细节，无需 teaining/fine-tuning 或 API 访问。

Abstract

The advancement of large vision-language models (LVLMs) has increasingly highlighted the critical issue of their tendency to hallucinate non-existing objects in the images. To address this issue, previous works focused on using specially curated datasets or powerful LLMs (e.g., GPT-3.5

large vision-language models hallucination mitigating hallucination marine object grounding features

发现论文，激发创造

大型视觉语言模型中的对象幻觉分析与缓解

LVLM Hallucination Revisor (LURE) 是一种简单而强大的算法，通过重建较少产生幻觉的描述来修正 LVLMs 中的物体幻觉问题，从而提高视觉总结和推理等视觉语言任务的性能。

Oct, 2023

通过精细的人工智能反馈检测和缓解大型视觉语言模型中的幻觉

通过细粒度人工智能反馈，检测和减轻大规模视觉语言模型中的幻觉现象。通过生成小规模句子级幻觉注释数据集和使用检测 - 重写流程来自动构建偏好数据集，进一步区分幻觉的严重程度，将幻觉严重程度纳入偏好学习来减轻大规模视觉语言模型中的幻觉。广泛实验证明了我们方法的有效性。

Apr, 2024

用视觉监督减轻视觉 - 语言模型中的虚构问题

通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

Nov, 2023

见之于眼：通过 CLIP 引导解码减轻大型视觉语言模型产生的幻觉

大规模视觉语言模型容易出现对象幻觉问题，本文提出了使用 CLIP 引导解码的方法来减少对象幻觉，通过增强生成文本与图像之间的视觉联系，有效缓解了多个视觉语言模型家族中的对象幻觉问题，并且保持了文本生成的实用性。

Feb, 2024

目标引导是否真能减少大型视觉语言模型的幻觉？

在 LVLM 的开放式字幕生成中，细粒度对象定位目标对对象形象幻觉的效果很小或没有效果。

Jun, 2024

大型视觉语言模型中的幻觉检测与预防

介绍 M-HalDetect，一个用于训练和评估幻觉检测和预防模型的多模态幻觉检测数据集。使用 Fine-grained Direct Preference Optimization 和拒绝抽样方法，成功减少了幻觉率，为视觉问题回答任务提供了重要的改进。

Aug, 2023

AGLA：借助全局和局部注意力组合，缓解大型视觉语言模型中的物体幻觉

通过研究大型视觉语言模型（LVLMs），本论文确定了对象幻觉的一个根本原因是对辨别性局部图像特征的注意力不足。基于此，我们提出了全局和局部注意力组装（AGLA）方法，该方法通过同时探索用于响应生成的全局特征和用于视觉辨别的局部特征，从而减轻对象幻觉。大量实验证明，AGLA 方法能够一致地减轻对象幻觉并提高 LVLM 在各种辨别性和生成性基准任务中的感知能力。

Jun, 2024

幻觉医生：减轻视觉指导数据中的幻觉毒性

该研究旨在调查和减轻多模态大型语言模型中的幻觉毒性，针对机器生成的视觉指令数据集中的对象、关系和属性幻觉进行检测和消除，并通过对数据分布进行对抗因果视觉指令扩展来增强模型对幻觉的抵抗能力。

Nov, 2023

通过视觉对比解码减轻大型视觉语言模型中的物体幻觉

大视觉语言模型（LVLMs）通过视觉识别和语言理解相结合，生成连贯且与上下文相关的内容，但仍然存在物体幻觉问题。本文介绍一种名为 Visual Contrastive Decoding（VCD）的简单且无需训练的方法，通过对比原始和失真的视觉输入产生的输出分布，有效降低统计偏差和单模式先验产生物体幻觉的影响，确保生成的内容与视觉输入密切相关，从而产生上下文准确的输出。实验证明，VCD 不需要额外的训练或使用外部工具，在不同的 LVLM 族群中显著减轻了物体幻觉问题。除减轻物体幻觉问题外，VCD 在通用 LVLM 基准测试中也表现出色，展示了其广泛的适用性。

Nov, 2023

逻辑闭环：在大规模视觉 - 语言模型中揭示物体幻觉

利用逻辑封闭环路的原理，提出了一种基于逻辑一致性探测的对象幻觉检测和缓解框架，命名为 LogicCheckGPT，该方法可以无缝应用于所有现有的大视觉 - 语言模型，并在三个基准测试中的四种模型上进行的全面实验表明了该方法带来的显着改进，证明了其有效性和普适性。

Feb, 2024