BEAF：评估视觉语言模型中的幻觉的前后变化

Jul, 2024

BEAF：评估视觉语言模型中的幻觉的前后变化

BEAF: Observing BEfore-AFter Changes to Evaluate Hallucination in Vision-language Models

Moon Ye-Bin, Nam Hyeon-Woo, Wonseok Choi, Tae-Hyun Oh

TL;DR为了提高视觉语言模型（VLMs）的可信度并更好地解决其幻觉问题，我们创建了一个新的评估数据集，称为BEfore-AFter幻觉数据集（BEAF），并引入了新的指标：True Understanding (TU)，IGnorance (IG)，StuBbornness (SB)，和 InDecision (ID)。通过图像编辑模型操纵视觉场景信息，并根据场景变化设计指标，我们可以清楚地评估VLMs是否能正确理解给定的场景，以观察其感知能力。

Abstract

vision language models (VLMs) perceive the world through a combination of a visual encoder and a large language model (LLM). The visual encoder, pre-trained on large-scale vision-text datasets, provides zero-shot generalization to visual data, and the LLM endows its high reasoning abil

发现论文，激发创造

可信并非忠实：探究视觉-语言预训练中对象幻觉问题

该论文系统研究了视觉语言预训练模型中对象幻觉问题，从近期最先进的VLP模型，VLP中不同类型的图像编码方式，以及VLP目标的不同方面入手，提出了一种名为ObjMLM的简单而有效的VLP损失，能够减少对象幻觉。实验表明，ObjMLM可以将对象幻觉降低多达17.4%。

Oct, 2022

评估大规模视觉语言模型中的物体错构

通过对大型视觉语言模型的系统研究，本论文发现大型视觉语言模型容易出现物体幻影问题，并探讨了视觉指导对幻觉的影响，提出了一种改进的评估方法POPE，以更稳定和灵活的方式评估物体幻影问题。

May, 2023

大型视觉语言模型中的对象幻觉分析与缓解

LVLM Hallucination Revisor (LURE)是一种简单而强大的算法，通过重建较少产生幻觉的描述来修正LVLMs中的物体幻觉问题，从而提高视觉总结和推理等视觉语言任务的性能。

Oct, 2023

用视觉监督减轻视觉-语言模型中的虚构问题

通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

Nov, 2023

本能偏见：虚假图像导致多语言语言模型的幻觉

通过提出“CorrelationQA”评估指标，该研究探讨了多模态大型语言模型的困惑问题并发现其存在普遍的本能偏见和缺乏鲁棒性。

Feb, 2024

Hal-Eval:一个用于大型视觉语言模型的通用且精细的幻觉评估框架

该研究提出了一种包括事件妄想在内的妄想细分分类方法，并利用高级视觉语言模型生成和过滤各类妄想数据，在通用评估框架中集成鉴别和生成式评估方法，从而评估大规模视觉语言模型处理妄想的能力，为评估妄想提供了可靠而全面的工具。

Feb, 2024

PhD：一个带提示的视觉幻觉评估数据集

通过分析 Intrinsic Vision-Language Hallucination（IVL-Hallu）问题的不同类型、原因和反映，我们提出了几种新颖的 IVL-Hallu 任务并将其分为四种类型：物体幻觉、属性幻觉、多模态冲突幻觉和反对常识幻觉。在这个研究中，我们提出了一个更具挑战性的基准测试来评估和探索 IVL-Hallu，以便为未来的 IVL-Hallu 和 LVLM 研究提供帮助。

Mar, 2024

视觉幻觉：定义、量化和规范化疗法

本研究针对视觉-语言模型中的幻觉进行细致的分析，并通过图像字幕和视觉问答两个任务，确定了八个精细化的视觉幻觉方向：上下文猜测、身份不一致、地理错误、视觉错觉、性别异常、VLM作为分类器、错误阅读和数字不一致。同时，还提供了一个包含2,000个样本的公开数据集VHILT，用于研究这些类别的视觉幻觉。

Mar, 2024

VALOR-EVAL: 大型视觉语言模型的整体覆盖和忠实度评估

大型视觉语言模型（LVLMs）在生成看似可信但事实上不正确的输出时存在幻觉问题，这损害了它们的可靠性。为了解决这些问题，我们介绍了一个多维度的评估基准和基于大型语言模型（LLM）的两阶段评估框架，通过对现有LVLMs进行实验，证明了我们的评估方法比现有工作更全面、与人类更相关，并且强调了在保持输出信息性的同时解决LVLMs中的幻觉问题的关键平衡。

Apr, 2024

视觉语言模型中的多物体幻觉

大规模视觉语言模型（LVLMs）在对象幻觉方面经常遇到困难，会产生图像中不存在的对象。本研究系统地调查了多对象幻觉，在同时关注多个对象任务时，模型如何错误地理解（如发明不存在的对象或分心）。我们引入了基于识别的对象探针评估（ROPE），这是一种自动化评估协议，在测试过程中考虑到单个图像中的对象类别分布，并使用视觉引用提示来消除歧义。通过全面的实证研究和分析导致多对象幻觉的潜在因素，我们发现（1）与关注单个对象相比，LVLMs在关注多个对象时更容易产生幻觉。（2）测试的对象类别分布会影响幻觉行为，表明LVLMs可能会遵循捷径和虚假相关性。（3）幻觉行为受到数据特定因素、显著性和频率以及模型内在行为的影响。我们希望使LVLMs能够识别和推理常见于现实视觉场景中的多个对象，提供见解并量化我们在解决这些问题上的进展。

Jul, 2024