Oct, 2023

ShaSTA-Fuse: 摄像头 - LiDAR 传感器融合以建模形状和时空亲缘性用于 3D 多目标跟踪

PDF
TL;DR使用 3D 多目标跟踪、相机 - LiDAR 融合、感知信号、亲和性估计和跟踪置信度改进等关键词，本文提出了一种新颖的相机 - LiDAR 融合方法，用于学习亲和性，从而大幅度提升数据关联、跟踪管理、误检剔除、误漏传播以及跟踪置信度的精细化等方面的性能。
3d multi-object trackingcamera-lidar fusionsensory signalsaffinity estimationtrack confidence refinement
发现论文，激发创造
  • 基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪

    本文提出了一种有效的多模态 MOT 框架，包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块，实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。

    Aug, 2021

  • 自动驾驶中的多目标跟踪与摄像头激光融合

    本文提出了一种新颖的多模态多目标跟踪算法，用于自动驾驶汽车，该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧，以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器，以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同，该算法不依赖地图或车辆全局姿态的知识。此外，它专门针对相机使用 3D 检测器，并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证，并且结果令人满意。

    Mar, 2024

  • 高级相机 - LiDAR 融合与机器学习的 3D 物体检测

    本研究提出了一种使用单目摄像头和 LiDAR 数据结合的机器学习技术，通过以国际排名领先的二维物体探测器生成的锥体区域来分割 LiDAR 点云，从而检测运动平台周围的车辆的 3D 边界框参数， 最终验证集准确率达到 87.1％。

    May, 2021

  • DeepFusion: 基于 Lidar 和相机的深度融合技术用于多模态 3D 物体检测

    本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign，提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型，实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进，表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能，可公开获取代码

    Mar, 2022

  • 联合三维物体检测和语义分割的传感器融合

    本文提出了一种将图像数据与 LiDAR 数据融合的方法，并展示了这种传感器融合方法在长距离检测表现方面提高了模型检测能力。此外，文中还扩展了模型的功能，使其能够进行 3D 语义分割，并在大型基准数据集上展示了我们的方法在保持低运行时间的同时，在目标检测和语义分割方面实现了最先进的性能。

    Apr, 2019

  • EagerMOT：通过传感器融合实现的三维多物体跟踪

    本文介绍了一种新的多目标跟踪方法 EagerMOT，它使用深度传感器和相机来融合对目标的观察，以实现对移动机器人周围物体在三维空间和时间上的定位，实验表明 EagerMOT 方法在 KITTI 和 NuScenes 数据集上达到了先进水平。

    Apr, 2021

  • CRAFT：基于空间 - 上下文融合 Transformer 的相机 - 雷达三维物体检测

    提出了一种基于早期融合方法和跨通道自适应交叉注意力机制的摄像头与雷达融合的方法，可实现更有效的三维目标检测，并在 nuScenes 测试集中达到了 41.1％的 mAP 和 52.3％的 NDS，相比摄像头基线提高了 8.7 和 10.8 个百分点。

    Sep, 2022

  • DeepFusion: 适用于激光雷达、相机和雷达的强健模块化三维物体检测器

    DeepFusion 提出了一种模块化的多模态架构，用于融合 lidar，相机和雷达以进行 3D 物体检测，实验结果证明了其灵活性和有效性，并探讨了远距离汽车检测和所需的激光点密度对 3D 物体检测的影响。

    Sep, 2022

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023

  • 自主车辆上的移动多相机多 3D 物体跟踪

    本文提出了一个新的全局关联图模型与链接预测方法，以预测现有的 tracklets 位置并通过交叉注意力运动建模和外观重新识别将检测与 tracklets 链接起来，以解决由于不一致的 3D 对象检测引起的问题，并提高 nuScenes 检测挑战中标准 3D 对象检测器的检测准确率。实验结果表明，该方法在现有基于视觉的跟踪数据集上表现出了 SOTA 的性能。

    Apr, 2022