自主驾驶的概率三维多模态、多目标跟踪
本文介绍了一种在线目标跟踪方法,采用卡尔曼滤波器估算对象状态,并测量预测对象状态和当前检测数据之间的马氏距离以进行数据关联,该方法在 NuScenes Tracking Challenge 中表现优异。
Jan, 2020
本文提出了一种新颖的多模态多目标跟踪算法,用于自动驾驶汽车,该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧,以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器,以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同,该算法不依赖地图或车辆全局姿态的知识。此外,它专门针对相机使用 3D 检测器,并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证,并且结果令人满意。
Mar, 2024
本文提出了一种基于多模态融合的新型多目标跟踪框架,通过将目标检测和多目标跟踪集成到同一模型中,取消了传统 TBD 范例中复杂的数据关联过程,并且不需要额外的训练。其次,探讨了历史轨迹回归的置信度,分析了一条轨迹在当前帧中的可能状态,并设计了置信度融合模块来指导有序关联的轨迹和检测的非极大值抑制。最后,在 KITTI 和 Waymo 数据集上进行了大量实验,结果表明,所提出的方法可以通过使用两个模态检测器实现鲁棒跟踪,并且比许多最新的基于 TBD 范例的多模式跟踪方法更加精确。
Apr, 2023
该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架,通过在数据关联过程中编码点云的深度表示,使每种模态能够独立执行其职能以保证其可靠性,并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。
Sep, 2019
本文提出了一种有效的多模态 MOT 框架,包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块,实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。
Aug, 2021
本文提出了一个新的全局关联图模型与链接预测方法,以预测现有的 tracklets 位置并通过交叉注意力运动建模和外观重新识别将检测与 tracklets 链接起来,以解决由于不一致的 3D 对象检测引起的问题,并提高 nuScenes 检测挑战中标准 3D 对象检测器的检测准确率。实验结果表明,该方法在现有基于视觉的跟踪数据集上表现出了 SOTA 的性能。
Apr, 2022
本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾,并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。
Jun, 2021
本文提出了一种多模态传感器模块化框架,用于实现在线多目标追踪,并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。
Feb, 2018
通过可微分的多传感器卡尔曼滤波器,本文提出了一种新颖的用于自动驾驶的 3D 多目标合作追踪算法,该算法学习估计每个检测的测量不确定性,以更好地利用卡尔曼滤波器追踪方法的理论属性,实验结果表明,与 V2V4Real 中的最新方法相比,我们的算法提高了 17% 的追踪准确性,且仅有 0.037 倍的通信成本。
Sep, 2023
提出了 UA-Track,一种能够解决 3D 多目标跟踪中存在的不确定性问题的框架,包括不确定性感知解码器、不确定性引导的查询去噪策略以及借助不确定性降低查询不确定性的方法。在 nuScenes 数据集上,UA-Track 在测试集上取得了 66.3% 的 AMOTA,超过了之前最佳的端到端解决方案 8.9% 的 AMOTA。
Jun, 2024