ICMLMay, 2024

ReconBoost：通过 Boosting 实现模态调和

PDF
TL;DR研究介绍一种新的多模态交替学习范式，旨在平衡利用单模态特征和跨模态交互的探索，通过使用 ReconBoost 方法、调整学习目标、内存整合方案和全局矫正方案，实现多模态学习的有效性。
multi-modal alternating learning paradigmmodality-alternating learning paradigmreconboostreconcilement regularizationmemory consolidation scheme
发现论文，激发创造
  • 自适应梯度调制提升多模态模型性能

    通过引入自适应梯度调制方法，本文提出了一种能够提升多模态模型性能的方法，并通过实验证明其优于现有的调制方法。此外，引入一种新的度量指标用于衡量模态竞争的强度，并系统研究了调制机制鼓励模型依赖更具信息量的模态。

    Aug, 2023

  • 多损失梯度调节改进多模态学习

    通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

    May, 2024

  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 平衡多模态学习的诊断与再学习

    为了解决不平衡的多模态学习问题，本文提出了一种诊断与再学习的方法，通过对模态能力的内在限制进行考虑，以及对所有模态的均衡处理，从而有效地平衡和增强多模态学习。

    Jul, 2024

  • 重新审视多模式行人检测中的模态不平衡

    本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

    Feb, 2023

  • 重建之前查询：分解提示协作的持续性缺失模态学习

    通过 Continual Missing Modality Learning（CMML）任务，我们引入了一种名为 Reconstruct before Query（RebQ）的框架，通过重建缺失的多模态数据和增强预训练模型的知识传递能力，有效地解决了预训练大型多模态模型在 CMML 中性能下降的问题。

    Mar, 2024

  • 使用元学习超网络将受监督的深度学习 MRI 重建推广到多个未知对比度

    该研究旨在开发一种多模态元学习模型，结合演化能力和梯度基元学习（GBML）来重新校准基础网络的内核，以生成 mode-specific 权重，进而提高影像重建的表现。

    Jul, 2023

  • 多模态分类模型的模态感知交互增强

    提出了一种名为模态感知交互增强（MIE）的新型多模态学习方法，通过优化策略和梯度修改策略，改善了多模态学习中的优化不平衡和模态遗忘现象，实验证明该方法优于现有基线模型并获得最佳性能。

    Jul, 2024

  • 基于皮层启发的 ReD-SOM 模型修复受损信号模态学习

    通过结合变分自动编码器、自组织映射和赫布连接在统一的 ReD-SOM（Reentering Deep Self-organizing Map）模型中，模拟和利用人脑中现象类似的 McGurk Effect，从而恢复丢失的数据模态并提高信号重构的质量。

    Jul, 2023

  • FULLER: 统一的多模态多任务三维感知通过多级梯度校准

    多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之间进行优化。实验证明了该方法的有效性。

    Jul, 2023