ICCVAug, 2023

自适应梯度调制提升多模态模型性能

PDF
TL;DR通过引入自适应梯度调制方法，本文提出了一种能够提升多模态模型性能的方法，并通过实验证明其优于现有的调制方法。此外，引入一种新的度量指标用于衡量模态竞争的强度，并系统研究了调制机制鼓励模型依赖更具信息量的模态。
multi-modal learningjoint training paradigmmodality competitionadaptive gradient modulation methodcompetition strength
发现论文，激发创造
  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 多损失梯度调节改进多模态学习

    通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

    May, 2024

  • ReconBoost：通过 Boosting 实现模态调和

    研究介绍一种新的多模态交替学习范式，旨在平衡利用单模态特征和跨模态交互的探索，通过使用 ReconBoost 方法、调整学习目标、内存整合方案和全局矫正方案，实现多模态学习的有效性。

    May, 2024

  • 多模式分类网络训练的困难之处是什么？

    通过 Gradient Blending 技术实现不同多模态训练的优化，避免了其过度拟合的问题，从而取得多项基准测试任务的最新成果。

    May, 2019

  • 通过细粒度模态估值增强多模态合作

    多模态学习模型的主题之一是将来自不同模态的异构信息进行联合整合，然而，大多数模型在多模态协同方面存在不足，不能很好地利用所有模态信息，因此，合理观察和改进模态之间的细粒度协同至关重要，特别是在面对现实场景时，模态差异可能在不同样本间有所变化。为此，本文引入了一种细粒度的模态评估度量，以评估单个样本水平上每个模态的贡献。通过模态评估，我们可遗憾地观察到多模态模型倾向于依赖某个特定模态，导致其他模态的贡献较低。我们进一步分析了这个问题，并通过有针对性地增强低贡献模态的区分能力来改善模态之间的协同。总的来说，我们的方法在样本级别上合理观察了细粒度的单模态贡献，并在不同的多模态模型上取得了显著改进。

    Sep, 2023

  • 多模态深度学习中的模态组合学习

    提出了基于深度神经网络的多模态学习方法，采用乘法结合不同来源的模态信息以提高性能，并通过过滤噪声和处理冲突来采取联合方法，扩展将不仅结合单一来源模态，而是一组混合来源模态，以更好地捕获跨模态信号相关性，取得了在不同领域的三个多模态分类任务中实验结果的改进。

    May, 2018

  • 从模态到模态的翻译：基于对抗表示学习和图融合网络的多模态融合

    本文提出了一种新颖的对抗性编码 - 解码 - 分类器框架来学习一个多模态不变的嵌入空间，通过对抗训练将源模态的分布翻译成目标模态的分布并引入重构损失和分类损失来约束嵌入空间，并使用分层图神经网络来融合编码表示。我们在多个数据集上实现了最先进的性能，所学的嵌入空间是有辨别力的。

    Nov, 2019

  • 基于梯度引导的模态解耦用于缺失模态的鲁棒性

    本文介绍了一种使用渐变指示器和梯度引导方法来解决多模态学习中的缺失模态和模态主导性的问题，同时设计了一种动态共享框架来处理模态不完整的数据，并在三个多模态基准数据集上进行了实验证明了该方法的有效性。

    Feb, 2024

  • 多模态模型合并的实证研究

    本论文探讨了如何将不同模态的 transformer 模型融合成参数有效的多模态结构，通过综合实验分析了融合的关键因素，提出了一个有效的训练方法。

    Apr, 2023

  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020