Apr, 2023

3D 物体检测的全稀疏融合

PDF
TL;DR本文研究如何在全稀疏架构中有效利用图像模态，并利用实例查询将 2D 实例分割与 3D 实例分割部分并行集成到 LiDAR 侧，从而实现了统一的基于查询的 2D 和 3D 融合框架，同时保持全稀疏特性。广泛的实验证明了在广泛使用的 nuScenes 数据集和长距离 Argoverse 2 数据集上的最先进性能。值得注意的是，所提出的方法在长距离 LiDAR 感知设置下的推理速度比其他最先进的多模式 3D 检测方法快 2.7 倍。
发现论文，激发创造
  • 稀疏融合：高效稀疏多模态融合框架用于远程三维感知

    SparseFusion 是一种基于稀疏三维特征构建的新型多模态融合框架，能够有效实现远程感知，并在长程 3D 感知任务和时间目标检测任务中取得了最优的性能。

    Mar, 2024

  • 全稀疏三维物体检测

    通过稀疏编码器与稀疏实例识别（SIR）模块，提出了一种全稀疏三维目标检测器（FSD），该方法可以在自动驾驶的远距离感知任务中实现高效的检测，具有状态 - of-the-art 性能并且比密集对应物快 2.4 倍。

    Jul, 2022

  • 3D 物体检测的稀疏稠密融合

    本文提出 Sparse Dense Fusion（SDF）框架，通过 Transformer 融合了稀疏融合和密集融合模块，同时丰富了语义纹理和利用了空间结构信息，相比基线提高了 4.3% 的 mAP 和 2.5% 的 NDS，在 nuScenes 基准测试中排名第一。

    Apr, 2023

  • SparseFusion：融合多模稀疏表征的多传感器三维物体检测

    该研究提出了一种基于稀疏表示的多传感器 3D 检测方法 SparseFusion，利用 LiDAR 和相机模态的并行检测器输出作为稀疏候选，通过轻量级自注意力模块在一致的 3D 空间中融合多模态候选，实现了目前最先进的性能，并且运行速度最快。

    Apr, 2023

  • 基于专家范围和多模态虚拟点的全稀疏长距离三维物体检测

    我们的研究论文提出了一种利用 LiDAR 和图像相结合的方法来解决长距离 3D 物体检测的问题，通过组合两种不同范围的专家网络和引入 Multimodal Virtual Points（MVP）进行数据增强，我们的方法在长距离上达到了最先进的性能。

    Oct, 2023

  • SparseLIF：高性能稀疏激光雷达与相机融合的三维目标检测

    稀疏 3D 检测器通过增强两种模态的丰富表示的认知度，如透视先验、RoI 特征采样和不确定性感知融合，来弥合与密集检测器之间的性能差距，在 nuScenes 数据集上实现了领先的性能表现，并且超过所有最先进的 3D 对象检测器。

    Mar, 2024

  • Far3D：扩展全景视角 3D 物体检测的视野

    提出了一种名为 Far3D 的新型稀疏查询框架，通过利用高质量的二维对象先验信息生成三维自适应查询，引入了透视感知聚合模块来高效捕获长距离对象在不同视角和尺度上的区别性特征，并通过范围调制的三维去噪方法解决了长距离任务中查询错误传播和收敛问题，相较于基于 LiDAR 的方法，在覆盖范围 150 米的具有挑战性的 Argoverse 2 数据集上表现出最先进的性能，并且在 nuScenes 数据集上相比之前的方法也展示了更好的性能。

    Aug, 2023

  • 稀疏融合稠密：基于深度补全的高质量 3D 检测

    本文提出了一种基于 SFD 框架的多模态方法，采用由深度补全生成的伪点云来解决点云稀疏性问题，并提出一种新的 3D RoI 融合策略 3D-GAF 来更好地利用不同类型点云的信息。同时，本文还介绍了通过数据增强等措施让多模态框架利用 LIDAR-only 方法。最后，实验表明本文所提出的方法在 KITTI 3D 目标检测排行榜上获得了最高的入口，证明了其有效性。

    Mar, 2022

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • SparseBEV: 高性能稀疏 3D 多镜头视频物体检测

    SparseBEV 是一种全更稀疏的三维物体检测器，通过尺度自适应自注意力、自适应时空采样和自适应混合等关键设计，在 BEV 空间和图像空间中实现了优于稠密对应物的性能。

    Aug, 2023