ICCVSep, 2019

鲁棒性多模态多目标追踪

PDF
TL;DR该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。
multi-sensor perceptionautonomous drivingmulti-object trackingsensorsdeep representation
发现论文，激发创造
  • 无盲区：使用相机和激光雷达进行全方位多目标自动驾驶跟踪

    本文提出了一种多模态传感器模块化框架，用于实现在线多目标追踪，并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。

    Feb, 2018

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023

  • EagerMOT：通过传感器融合实现的三维多物体跟踪

    本文介绍了一种新的多目标跟踪方法 EagerMOT，它使用深度传感器和相机来融合对目标的观察，以实现对移动机器人周围物体在三维空间和时间上的定位，实验表明 EagerMOT 方法在 KITTI 和 NuScenes 数据集上达到了先进水平。

    Apr, 2021

  • 自主驾驶的概率三维多模态、多目标跟踪

    通过融合 2D 图像与 3D LiDAR 点云的特征，学习度量，以及在无匹配目标检测时初始化跟踪，提出了一种概率、多模态、多对象跟踪系统，实现了比现有技术更鲁棒、数据驱动的多对象跟踪。

    Dec, 2020

  • 基于相机 - LiDAR 融合的自动驾驶多目标检测与跟踪

    本文提出了一种有效的多模态 MOT 框架，包括使用 2D 和 3D 测量的联合目标检测和关联的端到端深度神经网络、用于计算 3D 空间中遮挡感知的外观和运动相似度的有效计算模块、以及联合优化检测置信度、相似度和开始 - 结束概率的综合数据关联模块，实验证明所提出方法在跟踪精度和处理速度方面优于 KITTI 跟踪基准。

    Aug, 2021

  • 多模态物体跟踪的卓越性能

    多模态目标跟踪是一个新兴领域，它利用来自各种模态的数据（比如视觉、深度、红外热像、事件、语言和音频）来估计视频序列中任意物体的状态。本研究综述了现有多模态目标跟踪任务，并分析总结了各个任务的常用数据集和主流的跟踪算法，重点关注了它们基于自监督学习、提示学习、知识蒸馏、生成模型和状态空间模型等技术范式。同时，在此网址上维护了一个持续更新的多模态目标跟踪论文清单。

    May, 2024

  • 自动驾驶中的多目标跟踪与摄像头激光融合

    本文提出了一种新颖的多模态多目标跟踪算法，用于自动驾驶汽车，该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧，以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的动态障碍物运动的扩展卡尔曼滤波器，以及轨迹管理阶段组成。与大多数先进的多模态目标跟踪方法不同，该算法不依赖地图或车辆全局姿态的知识。此外，它专门针对相机使用 3D 检测器，并且对使用的 LiDAR 传感器类型不敏感。该算法在仿真环境和实际数据中进行验证，并且结果令人满意。

    Mar, 2024

  • 多目标运动建模联合检测与跟踪

    引入基于深度学习的运动建模网络（DMM-Net）估算多个物体的运动参数，可用于联合检测和关联，以解决现有方法中深度模型过于依赖检测器、评估结果受检测器影响的问题。通过运用 DMM-Net 构建的 Omni-MOT 数据集，消除了检测器对多目标跟踪性能评估的影响，该方法取得了比传统方法更好的性能，速度更快。

    Aug, 2020

  • MotionTrack: 学习多目标跟踪的强健短期和长期运动

    本文提出了一种名为 MotionTrack 的简单而有效的多目标跟踪器，它在统一框架中学习健壮的短期和长期运动，以将轨迹从短范围关联到长范围。通过在检测范例跟踪中嵌入 Interaction Module 和 Refind Module​​，在挑战性场景中，该方法在各种 MOT 指标上均实现了最先进的性能。

    Mar, 2023

  • 3D 多目标跟踪：基线和新的评估指标

    该论文提出了一个简单实时的 3D 多目标跟踪系统，使用 3D Kalman 滤波器和匈牙利算法进行状态估计和数据关联，并提出了新的 3D MOT 评估工具和新的评估指标，可在 KITTI 和 nuScenes 数据集上获得最先进的性能和最快的速度。

    Jul, 2019