MM-SHAP：一种性能不可知的度量方法，用于测量视觉和语言模型与任务中的多模式贡献

Dec, 2022

MM-SHAP：一种性能不可知的度量方法，用于测量视觉和语言模型与任务中的多模式贡献

MM-SHAP: A Performance-agnostic Metric for Measuring Multimodal Contributions in Vision and Language Models & Tasks

Letitia Parcalabescu, Anette Frank

TL;DR本研究提出了一种性能无关的多模态得分 MM-SHAP，该得分可以定量地衡量模型在多模态任务中使用个体模式的比例，并可分别应用于比较模型的多模态程度和度量给定任务和数据集的个别模态的贡献，实验结果表明，单模型崩溃可能出现不同程度和不同方向，与单方面认为的观点相矛盾。建议使用 MM-SHAP 来分析多模态任务，以诊断和指导实现多模态集成的进展。

Abstract

vision and language models (VL) are known to exploit unrobust indicators in individual modalities (e.g., introduced by distributional biases), instead of focusing on relevant information in each modality. A small drop in accuracy obtained on a VL task with a unimodal model suggests tha

vision and language models unimodal collapse mm-shap multimodality shapley values

发现论文，激发创造

SHAPE：一种统一方法评估个体模态的贡献和合作

本文主要介绍了一种基于 SHAPLEY 值的 PErceptual（SHAPE）得分，该得分可以测量单个模态的边际贡献和跨模态合作程度以及如何在不同任务的不同多模态数据集上系统地评估不同的融合方法，最终结果表明对于一些任务，在不同模态互补的情况下，多模态模型仍倾向于仅使用主导模态并忽略跨模态合作，而在不同模态必须挑战任务的情况下，模型则可以学习利用跨模态合作。

Apr, 2022

MM-BigBench：评估多模态模型在多模态内容理解任务上的表现

通过使用全面的评估框架 MM-BigBench，本文综合评估了 20 个语言模型（包括 14 个多模态大型语言模型）在 14 个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

Oct, 2023

分合：统一分离模式的非监督领域适应

大型视觉语言模型（VLM）如 CLIP 在无监督域自适应任务中表现出良好的零样本学习性能，为了充分利用语言和视觉之间微妙的相互作用，本文引入了一种统一的模态分离（UniMoS）框架进行无监督域自适应，通过利用模态间差异研究的见解，我们设计了一种灵活的模态分离网络，将 CLIP 的特征明确地分解为与语言相关和与视觉相关的部分，我们提出的模态集成训练（MET）方法促进了模态无关信息的交换，同时保留了模态特定的细微差别，通过模态鉴别器在域间进行特征对齐，我们全面评估了三个基准数据集，结果显示我们的方法以极小的计算成本取得了新的最先进水平。

Mar, 2024

MM-SAP：评估多模态大型语言模型在感知领域自感知能力的综合基准

通过引入知识象限来定义知道与不知道的知觉，我们针对自我知觉在图像感知方面提出了一个评估多模态大型语言模型的自我感知能力的新型基准测试（MM-SAP），通过评估八种知名的多模态大型语言模型的自我感知能力，提供了详细的洞察。

Jan, 2024

多模态 LLM 的视觉缺陷探究

通过对 CLIP 模型的视觉嵌入空间与仅视觉自监督学习的对比研究，我们发现最新的多模态大型语言模型（MLLMs）在视觉能力方面仍然存在系统性缺陷。为了解决这些问题，我们提出了一种特征混合（MoF）方法，通过将视觉自监督学习特征与 MLLMs 相结合，显著提高了它们的视觉基础能力，从而表明视觉表示学习仍然是一个待解决的问题，并且准确的视觉基础对于未来成功的多模态系统至关重要。

Jan, 2024

多模态学习的深度度量损失

我们介绍了一种新的多模态学习损失范式，根据模态的贡献将实例分组，以防止过拟合引起的低效学习，并高效优化多模态模型，实验证明我们的损失提高了最近模型的性能。

Aug, 2023

MM-SpuBench: 对多模态 LLMs 中偶发偏见的更好理解

在深度学习模型中，单一模态数据的训练容易导致假的偏见，而多模态大型语言模型（MLLMs）在综合视觉和语言模型方面展示了强大的能力。本文分析了 MLLMs 中的假偏见，揭示了当视觉模型中的偏见影响 MLLMs 中视觉和文本符号之间的对齐时，特定的测试数据模式会表现出这一问题，并通过引入 MM-SpuBench、一个全面的视觉问答（VQA）评估基准，从五个开源图像数据集中评估了现有最先进的 MLLMs。我们的研究结果显示了这些模型对于假关联的依赖性的持久存在，并强调了减轻假的偏见的新方法的迫切性。为了支持 MLLMs 的稳健性研究，我们在该网址发布了我们的 VQA 基准。

Jun, 2024

大型视觉语言模型的评估是否正确？

通过研究评估作品，我们找出了两个主要问题：1）对于很多样本来说，视觉内容是不必要的；答案可以直接从问题和选项中推断出来，或者来自于 LLM 中的世界知识。2）在 LLM 和 LVLM 训练中存在意外的数据泄漏。为了解决这些问题，我们提出了 MMStar，这是一个由人工精选的具有 6 个核心能力和 18 个详细方向的视觉不可或缺的多模态基准。我们在 MMStar 上评估了 16 个主要的 LVLM，以评估它们的多模态能力，并通过提出的指标在 7 个基准上调查了它们的数据泄漏和实际多模态增益。

Mar, 2024

MM-Vet：评估大型多模态集成模型的能力

我们提出了一个评估基准 MM-Vet，它检查了复杂的多模态任务上的大型多模态模型（LMMs）。我们根据洞察力设计了 MM-Vet，该洞察力表明解决复杂任务的有趣能力通常是通过一种通用模型能够整合不同的核心视觉语言（VL）能力实现的。

Aug, 2023

HighMMT: 量化多模态和交互异质性实现高维表示学习

本文提出了两种信息理论的度量方法，用于量化多模态学习中异构性，并提出了一种可扩展到多个领域的高模态模型 HighMMT，其性能优于以前的方法，并表现出重要的缩放行为。

Mar, 2022