ECCVOct, 2022

三维物体检测的同质多模态特征融合与交互

PDF
TL;DR本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。
multi-modal 3d object detectionfeature fusionhomogeneous structureself-attention based query fusion mechanismobject-level alignment guidance
发现论文，激发创造
  • 用于 3D 目标检测的密集体素融合

    提出了基于 Dense Voxel Fusion 的序列融合方法，该方法对于自主车辆应用中的 3D 物体检测具有重要意义。通过直接使用地面真实 3D 边界框标签进行训练，避免使用嘈杂的、特定于检测器的 2D 预测。DVF 在 KITTI 3D 汽车检测基准测试中排名第三，且不引入额外的可训练参数，也不需要使用立体图像或密集深度标签。此外，在 Waymo 开放数据集上，DVF 显著提高了基于体素的方法在 3D 车辆检测方面的性能。

    Mar, 2022

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 多模态多层次融合的三维单目标跟踪

    提出 MMF-Track，一种多模态多级融合跟踪器，利用点云的几何和图像纹理特征跟踪 3D 目标，在 KITTI 上实现了最先进的性能表现，并在 NuScenes 上具有竞争力。

    May, 2023

  • SDVRF：面向多模态三维目标检测的稀疏到密集体素区域融合

    自动驾驶认知任务利用多模态处理器已成为趋势，该文章提出了 Voxel Region 和 Sparse-to-Dense Voxel Region Fusion，该方法增加了像素图像信息，提取了更丰富的特征，提高了不同基线的性能。

    Apr, 2023

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • VoxelNextFusion：一个简单、统一且有效的多模态三维物体检测体素融合框架

    VoxelNextFusion 是一种多模态的三维物体检测框架，通过有效地融合稀疏点云和密集图像之间的信息，解决了现有基于体素方法在稀疏和密集特征融合上的问题，从而在 KITTI 和 nuScenes 数据集上实现了 3D 物体检测的显著改进。

    Jan, 2024

  • LiDAR 点云 3D 物体检测的端到端多视角融合

    本文提出了一种新颖的多视角融合算法 (MVF)，它能够从鸟瞰视角和透视视角有效地学习利用互补信息，其中采用了动态体素化方法。在 Waymo 开放数据集和 KITTI 数据集上的评估表明，MVF 模型显著提高了检测精度。

    Oct, 2019

  • MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报

    本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，并在 KITTI 基准测试中获得了最快速度和更好的性能。

    Sep, 2020

  • 3D 目标检测的体素场融合技术

    提出了一种名为体素场融合的跨模态三维物体检测框架，其中采用了学习采样器从图像平面以点到射线的方式采样关键特征，并在构建的体素场中进行射线融合，进而提高了模型在各项基准测试中的性能和稳定性。

    May, 2022

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023