ICMLMay, 2024

ReconBoost：通过 Boosting 实现模态调和

PDF
TL;DR研究介绍一种新的多模态交替学习范式，旨在平衡利用单模态特征和跨模态交互的探索，通过使用 ReconBoost 方法、调整学习目标、内存整合方案和全局矫正方案，实现多模态学习的有效性。
multi-modal alternating learning paradigmmodality-alternating learning paradigmreconboostreconcilement regularizationmemory consolidation scheme
发现论文，激发创造
  • 自适应梯度调制提升多模态模型性能

    通过引入自适应梯度调制方法，本文提出了一种能够提升多模态模型性能的方法，并通过实验证明其优于现有的调制方法。此外，引入一种新的度量指标用于衡量模态竞争的强度，并系统研究了调制机制鼓励模型依赖更具信息量的模态。

    Aug, 2023

  • 多损失梯度调节改进多模态学习

    通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

    May, 2024

  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 重新审视多模式行人检测中的模态不平衡

    本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

    Feb, 2023

  • 重建之前查询：分解提示协作的持续性缺失模态学习

    通过 Continual Missing Modality Learning（CMML）任务，我们引入了一种名为 Reconstruct before Query（RebQ）的框架，通过重建缺失的多模态数据和增强预训练模型的知识传递能力，有效地解决了预训练大型多模态模型在 CMML 中性能下降的问题。

    Mar, 2024

  • 使用元学习超网络将受监督的深度学习 MRI 重建推广到多个未知对比度

    该研究旨在开发一种多模态元学习模型，结合演化能力和梯度基元学习（GBML）来重新校准基础网络的内核，以生成 mode-specific 权重，进而提高影像重建的表现。

    Jul, 2023

  • 基于皮层启发的 ReD-SOM 模型修复受损信号模态学习

    通过结合变分自动编码器、自组织映射和赫布连接在统一的 ReD-SOM（Reentering Deep Self-organizing Map）模型中，模拟和利用人脑中现象类似的 McGurk Effect，从而恢复丢失的数据模态并提高信号重构的质量。

    Jul, 2023

  • FULLER: 统一的多模态多任务三维感知通过多级梯度校准

    多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之间进行优化。实验证明了该方法的有效性。

    Jul, 2023

  • MMPareto：通过无害单模态辅助提升多模态学习

    多模态学习中存在之前被忽视的多模态与单模态学习目标之间的梯度冲突问题，本文提出了 MMPareto 算法来解决这一冲突，以提高泛化性能和单模态学习的精确度，实验证明了算法的优越性及可扩展性。

    May, 2024

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023