Mar, 2022

FUTR3D: 一个用于 3D 检测的统一传感器融合框架

PDF
TL;DR提出了第一个统一的端到端传感器融合框架 ——FUTR3D，使用了基于查询的通用特征采样器（MAFS）和一种集合损失的 Transformer 解码器进行 3D 检测。FUTR3D 在各种传感器组合上都得到了有效验证，并且具有在不同传感器配置下实现低成本自动驾驶的优点。
sensor fusion3d detectionmafstransformer decoderautonomous driving
发现论文，激发创造
  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • MUTR3D: 基于 3D 到 2D 查询的多摄像头跟踪框架

    提出了一种基于 3D 跟踪查询和相机转换的多相机跟踪框架 MUTR3D，适用于自动驾驶系统，并且在 nuScenes 数据集上的评价结果优于目前所有的方法。

    May, 2022

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 雷达体素融合用于 3D 目标检测

    该研究论文通过数据融合不同传感器的数据，开发了低水平的传感器融合网络来进行 3D 物体检测，并提出了一种新的损失函数来提高检测和方向估计性能。在 nuScenes 数据集上的测试结果表明，与基准 lidar 网络相比，融合雷达数据可以提高约 5.1% 的检测分数，特别适用于暴雨和夜晚场景。而融合额外相机数据只有与雷达融合共同使用时才有积极的贡献，这表明传感器间的相互依赖对检测结果很重要。

    Jun, 2021

  • HRFuser：用于 2D 目标检测的多分辨率传感器融合框架

    本文提出了一种名为 HRFuser 的多分辨率传感器融合架构，用于自动驾驶领域中的 2D 物体检测，可以有效地融合不同传感器的信息，提高 2D 检测的性能。

    Jun, 2022

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • 基于中心的雷达与摄像头融合技术的三维物体检测

    本文提出了一种名为 CenterFusion 的传感器融合方法，通过结合雷达和摄像头数据来提升自动驾驶汽车的物体感知和探测能力，并在挑战性数据集上的评估中取得了显著的性能提升。

    Nov, 2020

  • Uni3D: 多数据集三维物体检测的统一基线

    该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

    Mar, 2023

  • 基于 2D 后置融合的长尾 3D 检测

    自动驾驶车辆要准确检测常见和罕见类别的物体以确保安全导航，因此出现了长尾三维物体检测（LT3D）的问题。本文研究了 RGB-LiDAR 融合的简单的后期融合框架，通过集成独立训练的 RGB 和 LiDAR 检测器，利用大规模单模数据集显著提高了罕见类别的检测性能，在几个关键组件方面进行了探讨，包括训练二维或三维 RGB 检测器、在三维空间中匹配 RGB 和 LiDAR 检测结果或在二维图像平面中匹配、以及如何概率地融合匹配的检测结果。大量实验结果显示，二维 RGB 检测器的识别准确性优于三维 RGB 检测器，基于二维图像平面的匹配可以减轻深度估计误差，使用概率校准的方法将分数融合可以达到最先进的 LT3D 性能。我们的后期融合方法在 nuScenes LT3D 基准测试中取得了 51.4 mAP 的成绩，相比之前的工作提高了 5.9 mAP。

    Dec, 2023