Feb, 2023

重新审视多模式行人检测中的模态不平衡

PDF
TL;DR本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。
发现论文，激发创造
  • 通过解决模态失衡问题来提高多光谱行人检测

    本研究提出了一种名为 MBNet 的多光谱行人检测模型，利用 Differential Modality Aware Fusion 模块以及光照感知特征对多种模态进行融合，在 KAIST 和 CVC-14 数据集上均取得了领先于现有模型的准确性与计算效率。

    Aug, 2020

  • 多模态范式的归因规范化

    通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。

    Apr, 2024

  • 多损失梯度调节改进多模态学习

    通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

    May, 2024

  • 关于模态偏差的识别和减少

    本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现了明显的性能改进，证明了该方法在减少模态偏差问题方面的优越性。

    Feb, 2022

  • 平衡多模态学习的诊断与再学习

    为了解决不平衡的多模态学习问题，本文提出了一种诊断与再学习的方法，通过对模态能力的内在限制进行考虑，以及对所有模态的均衡处理，从而有效地平衡和增强多模态学习。

    Jul, 2024

  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 当行人检测遇见多模态学习：通用模型和基准数据集

    MMPedestron 是一个新颖的多模态感知通用模型，它能够处理多个传感器模态及其动态组合，并通过引入 MAA 和 MAF 实现自适应多模态特征融合。此外，作者还构建了 MMPD 数据集，其中包含了 RGB、IR、Depth、LiDAR 和 Event 等多种传感器模态，通过多模态联合训练，在多个行人检测基准上取得了最先进的性能。

    Jul, 2024

  • 利用单模型教师提升多模态学习

    通过结合融合目标和单模态蒸馏的方法，提出了一种新的多模态学习方法 Uni-Modal Teacher 解决模态失败问题，为实现真实世界的机器人应用奠定了基础。

    Jun, 2021

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023