Dec, 2023

基于无标定变压器特征融合的三维目标检测

PDF
TL;DR通过使用 transformers 在多个传感器的多个抽象级别上映射特征，我们提出了首个无需校准的 3D 物体检测方法，消除了复杂和昂贵的校准过程，不仅在 BEV mAP 上优于单模态设置 14.1％，还表明 transformer 确实学习到了传感器映射。我们希望通过展示传感器融合不需要校准来激励其他研究者，同时得到的方法对旋转和平移变化具有很强的鲁棒性。
3d object detectionsensor fusioncalibration-free approachtransformerssensor mapping
发现论文，激发创造
  • TransFusion: 基于 Transformer 的稳健激光雷达 - 相机融合用于三维目标检测

    TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

    Mar, 2022

  • CalibFormer：基于 Transformer 的自动 LiDAR - 相机标定网络

    本文提出了一个自动 LiDAR - 相机校准的端到端网络 CalibFormer，通过整合多层相机和 LiDAR 图像特征以获得高分辨率表示，利用多头相关模块更准确地识别特征之间的相关性，并使用 Transformer 架构从相关信息中估计精确的校准参数。该方法在 KITTI 数据集上实现了 0.8751cm 的平均平移误差和 0.0562° 的平均旋转误差，超过了现有最先进方法，展示了强大的鲁棒性、准确性和泛化能力。

    Nov, 2023

  • FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

    多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。

    Sep, 2023

  • 面向自动驾驶的具有变换对称性的三维物体检测

    在自动驾驶领域，应用 TED 模型能够高效地检测汽车等 3D 物体。TED 利用稀疏卷积提取多通道等变体素特征，使得其在处理大量数据时仍然能快速的检测物体。同时，在 KITTI 竞赛的排名上表现十分出众，达到全球第一。

    Nov, 2022

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测

    通过 FusionViT 模型，在 KITTI 和 Waymo Open 数据集上进行了大量实验，实现了最先进的性能，并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。

    Nov, 2023

  • 面向受损数据的三维物体检测稳健传感器融合步骤

    本研究提出了一种新的融合步骤来解决数据损坏问题，从而使得 3D 物体检测的多模态传感器融合更加稳健。经过大量实验证明，我们的方法在正常数据上与最先进的方法相当，并在不对齐数据上表现出更好的效果。

    Jun, 2023

  • 使用优化理论和自监督学习的物理和语义信息多传感器校准

    提出了一种基于自监督学习和直接在线优化的方法，通过将三项传感器（相机，雷达和激光雷达）的物理特性和语义信息，综合校准实现无目标的校准，以实现安全可靠的自动驾驶技术。

    Jun, 2022

  • 自动驾驶中多模态对齐偏差的目标检测重新校准方法

    多模式物体检测中的标定问题对传感器之间的融合至关重要，本研究通过实验证实了标定偏差对检测性能的严重影响，并提出基于语义分割的重新标定模型，以提高多模式标定偏差的性能和鲁棒性。

    May, 2024

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021