本文提出了两种信息理论的度量方法，用于量化多模态学习中异构性，并提出了一种可扩展到多个领域的高模态模型 HighMMT，其性能优于以前的方法，并表现出重要的缩放行为。

Mar, 2022

本综述论文全面介绍了深度学习多模态体系结构的演变和增强，以应对文本、视觉和音频特征的多样化跨模态和现代多模态任务：包括最新的任务特定的深度学习方法，多模态预训练目标，以及从最先进的预训练多模态方法到统一体系结构。本文结合具体数据集和案例分析展示多模态学习的挑战、间隔和潜在研究主题。

Feb, 2023

本文提出了一个多模态鲁棒性框架，以系统分析常见的多模态表示学习方法，并针对其中的鲁棒性缺陷提出了两种干预技术，能够在三个数据集上提高1.5-4倍的鲁棒性。同时，通过在可能存在的额外模态上更好地利用这些干预技术，本文的算法在AudioSet 20K上取得了44.2mAP的优异表现。

Apr, 2023

本文提出了一种名为MMANet的通用框架，用于不完整多模式学习，其中包含三个组件：用于推理的部署网络、将综合多模式信息传输到部署网络的教师网络以及引导部署网络平衡弱模态组合的正则化网络。

Apr, 2023

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在RGB-D分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

Oct, 2023

多模态学习中处理缺失模态的信息论方法，通过引入Uni-Modal Ensemble with Missing Modality Adaptation技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频-视觉数据集和视觉-语言数据集上的有效性。

Oct, 2023

提出了一种简单而有效的框架TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集CMU-MOSI、CMU-MOSEI和MELD上具有优势。

Jan, 2024

综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。

Jul, 2024

本研究解决了现有多模态网络在处理缺失模态时性能下降的问题。提出的模态不变多模态学习方法采用单分支网络，能够共享权重以学习模态间表示，从而提高对缺失模态的鲁棒性。实验结果表明，该方法在所有模态均存在的情况下及缺失模态的情况下均优于现有最先进的方法。

Aug, 2024