Mar, 2024

PoIFusion: 基于兴趣点融合的多模态 3D 目标检测

PDF
TL;DR我们提出了 PoIFusion，这是一个简单而有效的多模态 3D 物体检测框架，用于在兴趣点（简称 PoI）处融合 RGB 图像和 LiDAR 点云的信息。
poifusionmulti-modal 3d object detectionrgb imageslidar point cloudsdynamic fusion block
发现论文，激发创造
  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • 多视图自适应融合网络用于三维物体检测

    本文提出了一种基于多视角融合的 3D 目标检测网络，结合了激光雷达鸟瞰视角、激光雷达距离视角和相机视角图像，使用注意力机制和额外任务优化点特征和结构信息，有效地实现了多视角特征的适应性融合，该网络在 KITTI 3D 目标检测数据集上的表现令人满意。

    Nov, 2020

  • MVX-Net: 基于多模态 VoxcelNet 的三维物体检测

    该研究提出了两种简单而有效的融合 RGB 和点云模态的早期融合方法，称为 PointFusion 和 VoxelFusion，并利用 VoxelNet 结构来结合这些模态，从而实现与最先进的多模态算法竞争力相当的表现，其能够在 KITTI 基准测试的五个车顶俯视图和 3D 检测类别中实现前两名的排名。

    Apr, 2019

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • FusionPainting: 多模态融合的自适应注意力应用于 3D 物体检测

    提出了一个称为 “FusionPainting” 的多模态融合框架，它可以在语义级别上融合 2D RGB 图像和 3D 点云以提高 3D 障碍物检测性能，并在 nuScenes 检测基准测试中显示出优于其他现有方法的性能。

    Jun, 2021

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 三维物体检测的同质多模态特征融合与交互

    本研究提出了一种基于均质结构和自注意力机制的多模态特征融合和交互方法，通过将相机特征转换为 LiDAR 3D 空间，在避免项目信息丢失的同时增强了在复杂背景下的鉴别能力，在 KITTI 基准中超越了所有已发表的算法。

    Oct, 2022

  • 多模态虚拟点 3D 检测

    通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中，我们提出了一个简单而有效的多模态检测器，该方法利用一组 2D 检测生成密集的虚拟 3D 点，能够增强原来稀疏的 3D 点云，实验结果在大规模 nuScenes 数据集上取得了显着的改进，并超过了竞争融合方法。

    Nov, 2021

  • LoGoNet: 基于局部到全局跨模态融合的精确三维物体检测

    本文提出了一种名为 LoGoNet 的基于 LiDAR 和相机融合的新型神经网络，该网络能够同时在局部和全局层面上对 3D 物体进行检测，并在 Waymo 和 KITTI 数据集上获得了最佳检测表现。

    Mar, 2023

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022