Mar, 2024

反思后比较策略减轻视觉错觉

PDF
TL;DR通过提出 Pensieve 方法，研究发现多模态大语言模型在处理视觉幻觉时会同时支持准确和不存在的内容，Pensieve 方法通过在推理中回溯相关图像作为参考，并将其与测试图像进行比较，从而减少视觉幻觉现象，并提升图像描述的细节和特定性。
multi-modal large language modelsvisual hallucinationpensieveretrospectimage descriptions
发现论文，激发创造
  • 基于幻觉增强对比学习的多模态大型语言模型

    本文从表示学习的新角度解决了多模态大型语言模型中的幻觉问题，并通过引入对比学习的方法，在多个基准测试中证明了减少幻觉和提高性能的有效性。

    Dec, 2023

  • 用视觉监督减轻视觉 - 语言模型中的虚构问题

    通过引入更详细的视觉注释和更具区分性的视觉模型来提高大型视觉语言模型的训练，使其能够生成更精确的回答，减少幻觉；此外，提出了新的评估基准 RAH-Bench 分为三种不同的幻觉类型，与原始 LLaVA 相比，我们的方法在该基准下实现了 +8.4% 的改进，并在其他模型上取得了广泛的性能提升。

    Nov, 2023

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • 可信并非忠实：探究视觉 - 语言预训练中对象幻觉问题

    该论文系统研究了视觉语言预训练模型中对象幻觉问题，从近期最先进的 VLP 模型，VLP 中不同类型的图像编码方式，以及 VLP 目标的不同方面入手，提出了一种名为 ObjMLM 的简单而有效的 VLP 损失，能够减少对象幻觉。实验表明，ObjMLM 可以将对象幻觉降低多达 17.4%。

    Oct, 2022

  • 多模态大型语言模型的幻觉：一项调查

    综述着重从细致的分类及持盾人儿的划分、评估基准和减轻方式中就多模式大型语言模型（MLLMs）中产生幻觉的原因进行分析，旨在加深对 MLLMs 中幻觉的理解，并激发该领域的进一步发展。

    Apr, 2024

  • 大规模视觉语言模型中的多模态幻觉积聚的调查和缓解

    当面临以前产生的幻觉相关查询时，大型视觉 - 语言模型 (LVLMs) 会受到幻觉的影响而做出错误响应吗？这篇论文提出了一个评估 LVLMs 行为的框架，结果显示开源 LVLMs 的性能下降了至少 31％，进一步提出了一个名为 Residual Visual Decoding 的无需训练的方法来缓解多模态幻觉扩散现象。

    Jun, 2024

  • 时间洞察增强：减轻多模态大语言模型中的时间幻觉

    通过提取和利用事件查询和提供的视频中的事件特定信息，我们介绍了一种创新的方法来解决多模态大型语言模型中发生的事件级幻觉问题，重点关注视频内容中的时间理解问题，在 Charades-STA 数据集上的评估表明，该研究不仅在解决多模态大型语言模型的关键限制方面提供了新的视角，还为在与时间相关的问题上评估多模态大型语言模型提供了一种定量可测量的方法。

    Jan, 2024

  • VDGD：通过弥合视觉感知差距来减轻认知提示中的低可信度语言幻觉

    对大型视觉语言模型（LVLMs）的幻觉问题进行了深入分析，发现了几个新的洞察力，提出了一种简单、稳健和无需训练的方法（VDGD）来减轻幻觉，实验结果表明 VDGD 在减少幻觉方面显著优于其他基线方法。

    May, 2024

  • 多模态图像幻觉控制：视觉信息的连接

    通过引入 M3ID 多模态互信息解码方法对先前训练的视觉语言生成模型进行推理时的增强，能够减少幻觉并提高模型的依赖性，从而减少视觉无依据的回答。

    Mar, 2024

  • 利用语义重建缓解视觉语言模型中的幻像

    通过准确定位和惩罚产生错觉的标记，ESREAL 提出了一种新颖的无监督学习框架，以抑制视觉 - 语言模型在生成长字幕时的幻觉，通过分析图像本身的信号实现减少错觉的目标。

    Mar, 2024