高效多模态同步融合检测

Mar, 2024

EfficientMFD: Towards More Efficient Multimodal Synchronous Fusion Detection

Jiaqing Zhang, Mingxiang Cao, Xue Yang, Weiying Xie, Jie Lei...

TL;DR对于自主驾驶来说，多模态图像融合和目标检测起着至关重要的作用。然而，目前的联合学习方法在融合检测任务中取得了显著进展，但繁琐的训练步骤限制了其在更广泛的实际工业部署中的应用。为了解决这个问题，我们提出了一种新的端到端多模态融合检测算法 EfficientMFD，使模型在只进行一次训练步骤后就能展现出良好的性能。通过两个组件之间的同步联合优化，不受各个任务的局部最优解的影响。此外，在共享参数的梯度矩阵之间建立了综合的优化，在融合检测权重下可以收敛到最优点。我们在多个公开数据集上进行了广泛的测试，不仅展现出在视觉上令人满意的融合效果，还在检测性能上表现出优于其他最新方法的优势（例如，6.6% 的 mAP50:95）。

Abstract

multimodal image fusion and object detection play a vital role in autonomous driving. Current joint learning methods have made significant progress in the multimodal fusion detection task combining the texture de

multimodal image fusion object detection autonomous driving end-to-end multimodal fusion detection efficientmfd

发现论文，激发创造

MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

Sep, 2020

AMFD: 自适应多模态融合的多光谱行人检测

多光谱行人检测中，采用自适应模态融合蒸馏（AMFD）框架，可有效利用原始模态特征，通过模态提取对齐模块提供学生网络的学习权重，进而独立于教师网络获得最佳融合策略，并在 KAIST、LLVIP 和 SMOD 数据集上实验证明了该方法在降低漏检率和提高平均精度方面优于现有最先进方法。

May, 2024

mmFUSION: 三维物体检测的多模态融合

提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

Nov, 2023

基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪

本文提出了一种有效的多模态 MOT 框架，包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块，实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。

Aug, 2021

通过盒匹配实现多模式三维物体检测

本论文提出了一种用于自动驾驶场景中多模态三维物体检测的新型融合网络 FBMNet，其通过在边界框级别上学习对应关系以自由化校准依赖，从而提供了一种用于跨模态特征对齐的替代方法。在 nuScenes 数据集上的实验表明，该方法比现有融合方法更加稳定有效，适用于异步传感器、错位传感器放置和退化相机图像等复杂情况，为实现自动驾驶场景中安全而提供了一种可行解决方案。

May, 2023

动态多模态融合

本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

Mar, 2022

2D 物体检测的多任务跨模态注意力融合

提出两种新的雷达预处理技术，并引入了多任务跨模态注意融合网络（MCAF-Net）来进行目标检测，相对于现有的基于雷达和相机融合的目标检测算法具有更强的鲁棒性，特别是在恶劣的天气条件和夜间场景下。

Jul, 2023

无需注册的混合学习增强简单多模式成像系统用于高质量融合检测

我们提出了一种 CNN-Transformer 混合学习框架（称为 IA-VFDnet），其中包括统一的高质量多模态特征匹配模块（AKM）和融合模块（WDAF），可以应用于烟雾和野火检测，并通过对 M3FD 数据集的实验证明了其在传统注册条件下的最佳检测性能。此外，此论文还公开提供了第一个未注册的多模态烟雾和野火检测基准。

Jul, 2023

RoboFusion: 基于 SAM 的稳健多模态 3D 目标检测

RoboFusion 是一个利用视觉基础模型的健壮框架，通过减少噪声来提高多模式三维物体检测的鲁棒性和可靠性，并在嘈杂的场景中获得了最先进的性能。

Jan, 2024

自动驾驶中的多模态 3D 物体检测：一项综述

本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。

Jun, 2021