提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

May, 2018

通过结合融合目标和单模态蒸馏的方法，提出了一种新的多模态学习方法Uni-Modal Teacher解决模态失败问题，为实现真实世界的机器人应用奠定了基础。

Jun, 2021

本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

Mar, 2022

本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

Jun, 2023

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在RGB-D分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

多模态学习中处理缺失模态的信息论方法，通过引入Uni-Modal Ensemble with Missing Modality Adaptation技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频-视觉数据集和视觉-语言数据集上的有效性。

Oct, 2023

通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

May, 2024

提出了一种名为模态感知交互增强（MIE）的新型多模态学习方法，通过优化策略和梯度修改策略，改善了多模态学习中的优化不平衡和模态遗忘现象，实验证明该方法优于现有基线模型并获得最佳性能。

Jul, 2024

综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。

Jul, 2024

本研究解决了现有多模态网络在处理缺失模态时性能下降的问题。提出的模态不变多模态学习方法采用单分支网络，能够共享权重以学习模态间表示，从而提高对缺失模态的鲁棒性。实验结果表明，该方法在所有模态均存在的情况下及缺失模态的情况下均优于现有最先进的方法。

Aug, 2024