Apr, 2020

MOPT: 多目标全景追踪

PDF
TL;DR本文介绍了一种新的感知任务，名为多物体全景追踪，它将传统上分离的语义分割、实例分割和多物体追踪任务综合在一起，并提出了基于软全景追踪质量度量的评估方法。本文还提出了一种新的全景追踪网络 PanopticTrackNet，用于同时学习所有子任务。实验结果表明，此方法在基于视觉和 LiDAR 的多物体追踪上均表现优异。
dynamic scenesmulti-object panoptic trackingperceptionsemantic segmentationinstance segmentation
发现论文，激发创造
  • 全景分割

    本文提出并研究了一项称为全景分割的任务，该任务将语义分割和实例分割两个任务统一起来，提出了新型的评估指标，并进行了全面的研究。

    Jan, 2018

  • 鲁棒性多模态多目标追踪

    该研究提出了一个通用的、传感器无关的多模态多目标跟踪框架，通过在数据关联过程中编码点云的深度表示，使每种模态能够独立执行其职能以保证其可靠性，并通过新型的多模态融合模块进一步提高其精度。该框架在 KITTI 基准上的表现达到了最新水平。

    Sep, 2019

  • 非物体的全景分割

    提出一种名为 amodal panoptic segmentation 的任务，旨在同时预测 stuff 类可见区域的像素级别语义分割标签和 thing 类可见区域以及遮挡区域的实例分割标签。扩展两个基准数据集以便研究新任务，在公开可用的 KITTI-360-APS 和 BDD100K-APS 中提供像素级别的 amodal panoptic 分割标签。提出了 APSNet 模型，它显式地建模了遮挡物和被遮挡物的复杂关系。在两个基准测试上达到了最先进的性能。

    Feb, 2022

  • 多模态物体跟踪的卓越性能

    多模态目标跟踪是一个新兴领域，它利用来自各种模态的数据（比如视觉、深度、红外热像、事件、语言和音频）来估计视频序列中任意物体的状态。本研究综述了现有多模态目标跟踪任务，并分析总结了各个任务的常用数据集和主流的跟踪算法，重点关注了它们基于自监督学习、提示学习、知识蒸馏、生成模型和状态空间模型等技术范式。同时，在此网址上维护了一个持续更新的多模态目标跟踪论文清单。

    May, 2024

  • 无盲区：使用相机和激光雷达进行全方位多目标自动驾驶跟踪

    本文提出了一种多模态传感器模块化框架，用于实现在线多目标追踪，并对该方法进行了实验证明其在真实场景下对自主驾驶领域有重要的应用。

    Feb, 2018

  • 移动地图点云中的全景分割综述

    本文旨在针对户外移动映射数据的全景分割问题，建立一个模块化的全局视点分割流水线，通过全面的系统实验来评估全景分割的状态，并提供首个公共数据集。

    Apr, 2023

  • OVTrack: 开放式词汇多目标跟踪

    本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

    Apr, 2023

  • MotionTrack: 基于 Transformer 的端到端多目标追踪与 LiDAR - 摄像头融合

    提出了一种基于 Transformer 的多模态传感器输入的端到端多目标跟踪算法（MotionTrack），它由基于 Transformer 的数据关联（DA）模块和基于 Transformer 的查询增强模块组成，同时实现了多目标检测（MOD）。MotionTrack 及其变体在 nuScenes 数据集上获得更好的结果（AMOTA 得分为 0.55），与 AB3DMOT、CenterTrack 和概率 3D 卡尔曼滤波器等经典基线模型相比有着更好的表现。

    Jun, 2023

  • 基于实例感知跟踪器和动态模型更新的在线多目标跟踪

    提出一种实例感知跟踪器，结合单个物体跟踪和卷积神经网络技术，用于多物体跟踪，提高跟踪准确性。在 MOT15 和 MOT16 基准测试上表现最佳。

    Feb, 2019

  • MOTS: 多目标跟踪和分割

    本论文将多目标跟踪扩展到多目标跟踪和分割（MOTS）。为此，我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。通过我们的新注释，我们提出了一个新的基线方法，该方法使用单个卷积网络共同处理检测、跟踪和分割。我们演示了我们数据集的价值，在 MOTS 注释上训练可以提高性能，我们相信我们的数据集、指标和基线方法将成为开发超越 2D 边界框的多目标跟踪方法的宝贵资源。

    Feb, 2019