Apr, 2023

仅需两个探测器即可实现多模态三维多目标跟踪

PDF
TL;DR本文提出了一种基于多模态融合的新型多目标跟踪框架，通过将目标检测和多目标跟踪集成到同一模型中，取消了传统 TBD 范例中复杂的数据关联过程，并且不需要额外的训练。其次，探讨了历史轨迹回归的置信度，分析了一条轨迹在当前帧中的可能状态，并设计了置信度融合模块来指导有序关联的轨迹和检测的非极大值抑制。最后，在 KITTI 和 Waymo 数据集上进行了大量实验，结果表明，所提出的方法可以通过使用两个模态检测器实现鲁棒跟踪，并且比许多最新的基于 TBD 范例的多模式跟踪方法更加精确。
multi-object trackingmulti-modal fusionobject detectiontrajectory regressiondata association
发现论文，激发创造
  • 自主驾驶的概率三维多模态、多目标跟踪

    通过融合 2D 图像与 3D LiDAR 点云的特征，学习度量，以及在无匹配目标检测时初始化跟踪，提出了一种概率、多模态、多对象跟踪系统，实现了比现有技术更鲁棒、数据驱动的多对象跟踪。

    Dec, 2020

  • 鲁棒性多模态多目标追踪

    该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

    Sep, 2019

  • 基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪

    本文提出了一种有效的多模态 MOT 框架，包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块，实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。

    Aug, 2021

  • 自动驾驶中的多目标跟踪与摄像头激光融合

    本文提出了一种新颖的多模态多目标跟踪算法，用于自动驾驶汽车，该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧，以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器，以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同，该算法不依赖地图或车辆全局姿态的知识。此外，它专门针对相机使用 3D 检测器，并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证，并且结果令人满意。

    Mar, 2024

  • 3D 多视角多目标跟踪的轨迹初始化与再识别

    使用 2D 检测从单目相机提出了一种三维多目标跟踪（MOT）解决方案，该解决方案在自动启动 / 终止跟踪，解决外观再出现和遮挡方面具有重要作用。

    May, 2024

  • 头部和全身探测器的融合用于多物体追踪

    本文介绍了如何将两种探测器融合到一个跟踪系统中，以解决单个探测器的局限性，并且提出了一种基于加权图标记问题的追踪算法，该算法通过 Frank-Wolfe 算法实现，经实验证明在行人跟踪的多种情景下，效果优于单个探测器跟踪和标准 QP-solvers，相比超过 90％的跟踪器，在 MOT16 基准测试中排名第二，在新的 MOT17 基准测试中排名第一。

    May, 2017

  • mmFUSION: 三维物体检测的多模态融合

    提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

    Nov, 2023

  • DetMatch：联合二维与三维半监督目标检测中两位教师优于一位

    本文提出了一个灵活的框架 DetMatch，用于 2D 和 3D 模态的联合半监督学习，通过识别两个传感器检测到的对象，生成更干净、更健壮的伪标签，进一步利用 RGB 图像的更丰富的语义来矫正不正确的 3D 类别预测。该方法在 KITTI 和 Waymo 数据集上取得了比强大的半监督学习方法更好的效果。

    Mar, 2022

  • 多传感器三维跟踪的端到端学习

    提出了一种新的基于检测的跟踪法，可以利用摄像头和 LIDAR 数据来产生非常精确的三维轨迹。为此，我们将问题制定为线性规划问题，可以解决该问题，并学习卷积网络进行检测以及匹配，并在具有挑战性的 KITTI 数据集上评估模型并展示了极具竞争力的结果。

    Jun, 2018

  • 自动驾驶中的多模态 3D 物体检测：一项综述

    本文介绍了自动驾驶所使用的流行传感器、它们的数据性质以及相应的目标检测算法。还讨论了用于评估多模态 3D 目标检测算法的现有数据集。接着对基于多模态融合的 3D 检测网络进行了回顾，并介绍了它们的融合阶段、融合输入和融合粒度以及这些设计选择如何随着时间和技术而演变。最后讨论了面临的挑战以及可能的解决方案。希望本文能帮助研究人员了解多模态 3D 目标检测领域并进行相关研究。

    Jun, 2021