本研究提出了一种性能无关的多模态得分 MM-SHAP，该得分可以定量地衡量模型在多模态任务中使用个体模式的比例，并可分别应用于比较模型的多模态程度和度量给定任务和数据集的个别模态的贡献，实验结果表明，单模型崩溃可能出现不同程度和不同方向，与单方面认为的观点相矛盾。建议使用 MM-SHAP 来分析多模态任务，以诊断和指导实现多模态集成的进展。

Dec, 2022

本文提出了感知分数的概念，通过该指标对多模态数据集中的各种输入特征进行评估，发现最新的视觉问答或视觉对话多模态模型相较于它们的先驱越来越少重视视觉数据，这趋势引起了担忧，需要对此展开讨论并提出解决思路。

Oct, 2021

通过提供一个分析框架和新的度量标准，我们研究了多模态视觉社区的解释。通过实验，我们调查了不同模态之间的一致性和特殊性，模态内的演化规则，以及优化多模态模型时使用的协作逻辑，并揭示了一些重要发现，这些发现有助于重新思考流行的多模态视觉融合策略的合理性和必要性，从而为未来设计一个可信赖和通用的多模态融合模型奠定了基础。

Aug, 2023

本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

Jun, 2020

多模态学习模型的主题之一是将来自不同模态的异构信息进行联合整合，然而，大多数模型在多模态协同方面存在不足，不能很好地利用所有模态信息，因此，合理观察和改进模态之间的细粒度协同至关重要，特别是在面对现实场景时，模态差异可能在不同样本间有所变化。为此，本文引入了一种细粒度的模态评估度量，以评估单个样本水平上每个模态的贡献。通过模态评估，我们可遗憾地观察到多模态模型倾向于依赖某个特定模态，导致其他模态的贡献较低。我们进一步分析了这个问题，并通过有针对性地增强低贡献模态的区分能力来改善模态之间的协同。总的来说，我们的方法在样本级别上合理观察了细粒度的单模态贡献，并在不同的多模态模型上取得了显著改进。

Sep, 2023

本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

Feb, 2019

提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

May, 2018

本研究旨在探讨每种模态对 Multimodal Machine Learning 模型的影响，并针对不同分类任务的数据集和模型，提出了一种确定每种模态对 Multimodal Machine Learning 模型的影响的方法。研究结果对于理解多模态学习中每个模态的作用，并为该领域的未来发展提供了有价值的见解。

Jun, 2023

通过使用预手术和术中数据，我们开发了一个多模态深度学习模型，用于预测老年髋关节骨折患者术后死亡率，并通过计算 Shapley 值解释了我们的模型预测结果。

Apr, 2024

本文证明了使用多种模态进行深度学习相比于使用单一模态，采用常见的多模态融合框架可以更好地学习，并且能够获得较小的总体风险，这是首个从泛化角度捕捉到真实多模态应用中重要的定性现象的理论论证。

Jun, 2021