弥合鸿沟：探索桥梁结构在复杂的视觉推理任务中的能力

Jul, 2023

弥合鸿沟：探索桥梁结构在复杂的视觉推理任务中的能力

Bridging the Gap: Exploring the Capabilities of Bridge-Architectures for Complex Visual Reasoning Tasks

Kousik Rajesh, Mrigank Raman, Mohammed Asad Karim, Pranit Chawla

TL;DR探讨了多模态架构在复杂视觉推理任务上的表现，发现在 NLVR2 数据集中，使用对象级别特征的桥梁架构并不能提高性能，而预训练多模态数据对于复杂推理任务的良好表现是关键。还对最新的桥梁架构 LLaVA 在零 - shot 环境中的性能进行了初步分析。

Abstract

In recent times there has been a surge of multi-modal architectures based on Large Language Models, which leverage the zero shot generation capabilities of LLMs and project image embeddings into the text space and then use the auto-regressive capacity to solve tasks such as VQA, captio

multi-modal architectures bridge-architectures nlvr2 dataset complex visual reasoning tasks pre-training on multi-modal data

发现论文，激发创造

多模态大型语言模型中的图推理图渲染

本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性，并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。

Feb, 2024

通过大型语言模型增强视觉语言模型的推理能力

本文提出了一种名为 TReE 的方法，用于在零样本场景中将大型语言模型（LLMs）的推理能力转移给视觉语言模型（VLM），包含观察、思考和重新思考三个阶段。

May, 2023

填补视觉语言模型选择中的模态和容量差距

本文分析了在使用语言 - 仅依据进行视觉语义模型 (VLM) 选择中的两个固有挑战：模态差异和能力差异，并提出了一种称为 SWAB 的方法来缓解这两个差距，通过最优传输捕捉开源数据集与目标数据集之间的相关性，并将有用的统计信息从开源数据集传输到目标数据集，从而增强 VLM 在选择中的能力估计。通过在多个 VLM 和图像分类数据集上进行的实验验证了 SWAB 的有效性。

Mar, 2024

多语言视觉推理中缺少的内容及其修复方法

NLP 模型通过在视觉推理任务上的测试，评估了多语言、多模态方面的能力。通过分析模型的失败，提出了三个针对性干预措施，包括翻译 - 测试方法、视觉编程方法和利用图像字幕处理多模态问题。这些干预措施在零 - shot 设置下提高了 open model LLaVA 13.4% 的性能，并稍微改善了 GPT-4V 的性能。

Mar, 2024

发现差距：面向视觉问答的知识库推理

我们分析了基于知识的视觉问答，研究问题是：1）我们能通过显式有监督检索相关知识解决知识库 - 视觉问答问题吗？2）任务特定模型和预训练语言模型在视觉和外部知识的整合以及多跳推理方面的表现如何？3）预训练语言模型的隐式知识足够用于知识库 - 视觉问答吗？结果表明，将特定任务和预训练语言模型与显式的外部和视觉知识检索模型相结合可以取得良好效果。预训练语言模型在 1 跳推理方面更强，但在 2 跳推理方面不如我们精调的神经网络模型，尽管两种模型都可以获取两种信息的相关信息。此外，我们观察到预训练语言模型在与知识库相关的问题上优于神经网络模型，这证实了预训练语言模型中隐式知识的有效性，然而，它们并不能代替对外部知识的需求。

Apr, 2024

OMG-LLaVA：图像层、对象层、像素层推理和理解的桥梁

提出了一种新颖的 OMG-LLaVA 框架，将强大的像素级视觉理解与推理能力相结合，接受各种视觉和文本提示以实现灵活的用户交互。通过将视觉信息、感知先验和视觉提示整合为 LLM 可以理解用户的文本指令，并基于视觉信息提供文本响应和像素级分割结果。OMG-LLaVA 在一个模型中实现了图像级、对象级和像素级的推理和理解，达到了或超过了多个基准测试的专门方法的性能。

Jun, 2024

非言语抽象推理的研究：多模态大型语言模型的好奇之境

通过 Raven's Progressive Matrices 的变种，评估开源和闭源的多模态大型语言模型（MLLMs）的非语言抽象推理能力，发现了解决这类问题的困难以及开源和闭源模型之间巨大的差距，并揭示了个别视觉模块和文本模块的关键缺陷，最后通过 Chain-of-Thought 提示等方法，以显著提升模型性能（最高达 100%）。

Jan, 2024

桥接不同的语言模型和生成视觉模型用于文本到图像生成

通过整合进阶的语言模型和生成式视觉模型，本研究提出了 LaVi-Bridge 管道，用于实现文本到图像的生成，证明这种整合可以显著改进文本对齐和图像质量等性能。

Mar, 2024

透明度设计：在视觉推理中弥合性能与可解释性之间的差距

本文提出一种可视化推理基元的方法，将其组合成一种能够通过显式可解释的方式执行复杂推理任务的模型，并在 CLEVR 数据集上取得了 99.1% 的准确度，同时有效地学习了泛化表示。

Mar, 2018

人类与多模态 LLMs 之间的视觉认知差距是什么？

我们提出了一个新数据集 MaRs-VQA 和一个新的基准 VCog-Bench，以评估 Multimodal Large Language Models 的零射击 Abstract Visual Reasoning 能力，并将其与现有的人类智能研究进行比较。我们的实验结果揭示了当前 MLLMs 在视觉认知方面存在的局限性。

Jun, 2024