基于梯度引导的模态解耦用于缺失模态的鲁棒性
本文提出了一种去耦合的多模态蒸馏（DMD）方法，通过使用图蒸馏单元（GD-Unit）和构建动态图来实现灵活和自适应的多模态知识蒸馏，以提高每种模态的辨别特征。实验结果表明，DMD 方法优于最先进的 MER 方法，并且在 DMD 中的图边展现出与无关 / 专用空间以及有意义的分布模式。
Mar, 2023
本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。
Mar, 2022
提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。
Sep, 2023
通过在多模态情境中将特征分为模态特定和模态共享组件，并运用监督对比学习对模态共享特征施加距离约束，以促进多样性，并引入跨模态转换模块来规范学习特征，以达到领域泛化的目标。
Oct, 2023
通过引入自适应梯度调制方法，本文提出了一种能够提升多模态模型性能的方法，并通过实验证明其优于现有的调制方法。此外，引入一种新的度量指标用于衡量模态竞争的强度，并系统研究了调制机制鼓励模型依赖更具信息量的模态。
Aug, 2023
该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。
Apr, 2023
提出了一种新的多模态融合框架，通过引入模态域注意力（MDA）实现对每种模态权重的自适应调整，旨在促进多模态信息的融合，同时允许包含缺失的模态或本质噪声，从而增强多模态数据的表示。通过观察模态融合过程，提供了准确性变化和 MDA 权重的可视化，对其可解释性进行了全面分析。在各种胃肠疾病基准测试上进行了广泛实验证明，所提出的 MDA 即使存在缺失的模态和本质噪声时也能保持高准确性。
Jun, 2024
本文提出了一种利用动态梯度调制机制来平衡不同语音和视觉模态特征学习的方法，并设计了一种实现精确测量的模态分离决策单元来处理多模式混淆问题， 实验证明该方法的有效性。
Jul, 2023