面对缺失模态问题，如何打造强大的多模态模型？

Oct, 2023

面对缺失模态问题，如何打造强大的多模态模型？

What Makes for Robust Multi-Modal Models in the Face of Missing Modalities?

Siting Li, Chenzhuang Du, Yue Zhao, Yu Huang, Hang Zhao

TL;DR多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

Abstract

With the growing success of multi-modal learning, research on the robustness of multi-modal models, especially when facing situations with missing modalities, is receiving increased attention. Nevertheless, previous studies in this domain exhibit certain limitations, as they often lack

multi-modal learning missing modalities information-theoretic perspective uni-modal ensemble with missing modality adaptation late-fusion learning framework

发现论文，激发创造

面向缺失模态鲁棒性行为识别的良好实践

本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

Nov, 2022

通过参数高效适应处理缺失模态的鲁棒多模态学习

使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

Oct, 2023

缺失模态插值的统一多模态图像合成

该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

Apr, 2023

监督多模式学习中的单模式特征学习

通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据集上实现与其他复杂的后融合或中间融合方法可比的结果。我们证明，缺乏在每个模态上进行 Uni-modal feature learning 的现象将确实损害模型的泛化能力。

May, 2023

处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

Jun, 2024

多模态 Transformer 对缺失模态具有鲁棒性吗？

本研究旨在深入探究 Transformer 模型在缺失模态数据的情况下的行为，并发现最优融合策略是数据集相关的，因此提出一种自动搜索输入数据最优融合策略以提高 Transformer 模型鲁棒性的方法。实验证实了该方法在三个基准数据集上具有优异性能。

Apr, 2022

MMA-UNet：红外和可见光图像融合的多模态非对称 UNet 架构

本研究提出了一种多模态非对称 UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。

Apr, 2024

探索多模式自为视角数据集中的缺失模态

本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

Jan, 2024

多模态实体对齐中的不确定缺失和模糊视觉模态的重新思考

在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。

Jul, 2023

多模导向网络用于缺失模态推断

提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

Sep, 2023