基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪
本文提出了一种新颖的多模态多目标跟踪算法,用于自动驾驶汽车,该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧,以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器,以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同,该算法不依赖地图或车辆全局姿态的知识。此外,它专门针对相机使用 3D 检测器,并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证,并且结果令人满意。
Mar, 2024
提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法(MotionTrack),它由基于 Transformer 的数据关联(DA)模块和基于 Transformer 的查询增强模块组成,同时实现了多目标检测(MOD)。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果(AMOTA 得分为 0.55),与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。
Jun, 2023
该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架,通过在数据关联过程中编码点云的深度表示,使每种模态能够独立执行其职能以保证其可靠性,并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。
Sep, 2019
本文提出了一种多模态传感器模块化框架,用于实现在线多目标追踪,并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。
Feb, 2018
通过融合 2D 图像与 3D LiDAR 点云的特征,学习度量,以及在无匹配目标检测时初始化跟踪,提出了一种概率、多模态、多对象跟踪系统,实现了比现有技术更鲁棒、数据驱动的多对象跟踪。
Dec, 2020
使用 3D 多目标跟踪、相机 - LiDAR 融合、感知信号、亲和性估计和跟踪置信度改进等关键词,本文提出了一种新颖的相机 - LiDAR 融合方法,用于学习亲和性,从而大幅度提升数据关联、跟踪管理、误检剔除、误漏传播以及跟踪置信度的精细化等方面的性能。
Oct, 2023
本文介绍了一种新的多目标跟踪方法 EagerMOT,它使用深度传感器和相机来融合对目标的观察,以实现对移动机器人周围物体在三维空间和时间上的定位,实验表明 EagerMOT 方法在 KITTI 和 NuScenes 数据集上达到了先进水平。
Apr, 2021
近年来,自动驾驶领域取得了显著进展,本文提出一种新颖的修改方法,利用摄像机和激光雷达信息,将额外的分支整合到目标检测网络中,用于在同一车辆中的相邻摄像头之间重新识别物体,同时提高基线 3D 目标检测结果的质量。经过广泛实验验证,该方法在 2D 和 3D 领域的有效性得到证实,结果表明该方法优于传统的非最大抑制(NMS)技术,在重叠区域的车辆类别中改进超过 5%。
Oct, 2023
本篇研究论文提出了一种基于学习的三维多目标跟踪方法,在公共数据集 nuScenes 上取得了近年来最好的性能表现,采用的关键技术包括神经消息传递网络、数据关联和轨迹稳定性的处理。
Apr, 2021
本研究提出了基于深度学习的数据关联方法来解决多目标跟踪中的数据关联问题,并在 MOT15、MOT17 和 UA-DETRAC 等数据集上通过 12 项指标的评估证明该方法是当今最佳的技术之一。
Oct, 2018