本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

Mar, 2022

本文提出了一种训练框架，以确保不同模态之间的均衡优化，解决了多模态VAE模型在训练过程中出现的模态崩溃问题，提升了重建性能、条件生成和潜在空间的连贯性。

Jun, 2022

本文提出了一种名为MultiModal Contrastive Learning (MMCL)的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022

本研究旨在提高现代评论有用性预测系统的性能，提出了一种基于多模态对比学习的方法，聚焦于输入模态之间的信息，提高了跨模态关系的显式表达，并引入自适应加权策略以提高优化的灵活性，同时提供了多模态交互模块以解决多模态数据的分布不一致问题，实验证明该方法优于基线算法，在两个公开数据集上实现了最先进的结果。

Nov, 2022

提出一种基于集合的多模态VAE方法，可以直接对联合模态后验分布进行建模，从而在处理缺失模态等方面具有优异性能，适用于无序跨模态生成任务。

Dec, 2022

本研究提供了一种新的质量感知多模态融合方法，旨在从概率推理的角度解决跨模态相关性和交互性的挑战，并在多个基准测试中验证了其分类准确性和模型鲁棒性的提升。

Jun, 2023

基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在RGB-D分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

Sep, 2023

使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

Oct, 2023

MLA是通过交替的单模态适应过程改变传统联合多模态学习过程，减少模态之间的干扰，并通过共享头部实现跨模态交互，从而优化性能，在推理阶段利用基于不确定性的模型融合机制集成多模态信息。经过在五个不同数据集上的广泛实验，证明了MLA相对于竞争方法的优越性。

Nov, 2023

为了解决不平衡的多模态学习问题，本文提出了一种诊断与再学习的方法，通过对模态能力的内在限制进行考虑，以及对所有模态的均衡处理，从而有效地平衡和增强多模态学习。

Jul, 2024