通过将上下文二进制信息转化为概率图，并提出一种早期融合结构，在 DOTA 数据集上进行了广泛实验证实，本文研究了仅有一种模态包含目标物体且其他模态提供关键上下文信息的多模式目标检测中的对齐问题。

May, 2024

我们提出了一种自适应融合方法，使用多种传感器，通过卷积神经网络专家的混合来学习权衡不同传感器的预测，该方法可适应于不同光照和摄像机运动模糊等影响。我们测试了该方法在室内和室外的人体检测，并证明了其可适应困难环境，同时，我们还提出了一个新的混合室内外环境中的 RGB-D 数据集，可供参考。

Jul, 2017

本研究探讨了将集成学习应用于单个模型的各种方法，通过适当的初始化和相互学习等策略增强单模态模型，达到了在 Something-Something-v2 基准测试中的最优结果。

Nov, 2020

Multi-modal fusion technique incorporating uncertainties through Uncertainty-Encoded Mixture-of-Experts (UMoE) improves object detection performance in extreme weather, adversarial, and blinding attack scenarios for autonomous driving.

Jul, 2023

本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

Feb, 2023

我们在这项工作中提出了一种用于多模态动作识别的集成建模方法，通过使用适应 MECCANO 数据集的长尾分布的变种焦点损失模型，独立训练各个模态的模型，并基于焦点损失的基本原理，提出了一种指数衰减的焦点损失模型，它能够根据数据集中的所有示例逐渐适应，并鼓励模型在关注稀疏的艰难样本的同时，利用简单样本提供的信息，最后采用后期融合策略将 RGB 和深度模态的概率分布进行组合，以进行最终的动作预测。在 MECCANO 数据集上进行的实验评估证明了我们方法的有效性。

Aug, 2023

我们提出了一种用于 2023 年 DataComp 竞赛过滤轨道的多模态数据筛选方法，该方法将目标检测和基于弱监督的集成相结合，使性能提升了 4%，并在小规模轨道中取得了排名第一的位置，并且通过集成现有基准和弱监督方法在中等规模轨道上实现了 4.2% 的改进。

Jan, 2024

提出了 UniBEV，一个端到端多模态 3D 物体检测框架，用于解决缺失传感器输入（因突发传感器故障等原因）的鲁棒性问题，通过创建对齐的鸟瞰图特征图处理不同的输入组合，并采用加权平均融合策略提高鲁棒性

Sep, 2023

本文中，我们提出使用基于图像域数据训练的伪多模态对象检测器，在热成像中改善对象检测的性能，并指出我们的框架优于现有的基准，并具有在使用我们的方法时以更少的热成像数据进行学习的能力。

May, 2019

本文致力于通过多模态蒸馏的方式，提高仅以 RGB 帧为输入的多模态方法在行动识别方面的性能。实验表明，该方法在标准 / 组合行动识别中均明显优于基线 RGB 模型以及联合训练多种模态的方法。

Oct, 2022