自监督多目标跟踪与路径一致性

CVPRApr, 2024

Self-Supervised Multi-Object Tracking with Path Consistency

Zijia Lu, Bing Shuai, Yanbei Chen, Zhenlin Xu, Davide Modolo

TL;DR本文提出了一种新颖的路径一致性概念，用于学习强健的物体匹配，无需使用手动物体标识监督。通过改变模型可以观察的帧的方式，即跳过观察中的帧，我们可以得到多个不同的关联结果来追踪一个物体。由于观察的差异不会改变物体的身份，所得到的关联结果应该是一致的。基于这一理论，我们生成多个观察路径，每个路径都指定了一个不同的要跳过的帧的集合，并制定了路径一致性损失，以强制要求不同观察路径下的关联结果是一致的。通过在三个跟踪数据集（MOT17、PersonPath22、KITTI）上进行大量实验证明，我们的方法在各种评估指标上优于现有的无监督方法，并且甚至接近监督方法的性能水平。

Abstract

In this paper, we propose a novel concept of path consistency to learn robust object matching without using manual object identity supervision. Our key idea is that, to track a object through frames, we can obtai

path consistency object matching self-supervision tracking datasets unsupervised methods

发现论文，激发创造

带有跨输入一致性的自监督多目标跟踪

本文提出了一种自监督学习方法，用于训练仅提供无标签视频的多目标跟踪模型，通过交叉输入一致性的方法，在未经过监督的情况下优于多种经过监督的方法。

Nov, 2021

基于时间尺度连续性的自监督多目标跟踪

通过在图像序列帧上进行一致的关联性评分，我们提出了一种学习重新识别特征的训练目标，可以显著降低 ID 开关，即使在 BDD100k 基准测试中表现和受监督的方法相当，也能够设置自监督多目标跟踪的新颖技术。

Apr, 2023

S$^3$Track：自监督跟踪与软分配流

本文旨在研究不使用任何视频级联标签的自监督多目标跟踪问题，并通过不同 iable 可微分的软目标分配来解决问题，使用时间和多视图数据进行训练，从而获得关于目标的关联伪标签。与大多数依赖于学习特征对应关系预算任务的自监督跟踪方法不同，我们的方法直接优化于复杂情景下的交叉对象关联，为鲁棒的重新识别 MOT 方法提供了一种解决方案，不会受到 Minima 的影响。在 KITTI、Waymo、nuScenes 和 Argoverse 数据集上评估我们的模型，与其他无监督方法相比，一致提高了 nuScenes 上的关联精度（7.8%）。

May, 2023

利用时序相干性进行自监督单次视频再识别

本文提出了一种新的基于时间一致性递进学习的框架，利用自监督辅助任务来捕捉未被标记的轨迹之间的关系，从而更好地实现视频检索中的标记，相比现有技术提高了高达 8% 的未标记数据真实标记的准确性和重识别的性能。

Jul, 2020

自监督学习的深度和运动在光度不一致下的训练

本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法，该方法不需要基础数据的支持，增加了更强的几何量和时间图像序列内部一致性的约束条件，能够显著提高单目图像序列深度和相对姿态估计的性能。

Sep, 2019

光流估计的一致性约束

本论文提出了新的一致性策略，包括自监督学习和半监督学习，以提高基于像素级运动描述能力，并在 KITTI-2015 景流基准测试中达到卓越的结果，实现前景准确性最佳的成果，其中且仅使用单眼图像输入。

Apr, 2022

从时间的循环一致性中学习对应关系

本文提出了一种自监督的方法，通过循环一致性来学习视觉对应关系，应用其学到的特征图表示可以在一系列视觉对应任务中取得较好的性能。

Mar, 2019

利用自监督学习检测跟踪器错误，以最小人工参与收集始终高质量的物体轨迹

我们提出了一个混合框架，通过将自动化目标跟踪器与少量人工输入相结合，可以持续产生高质量的物体跟踪。我们的方法利用无标签视频上的自我监督学习，学习适合目标物体的表示，并使用该表示主动监视其跟踪区域，并在跟踪器失效时决策是否需要人工重新定位目标。实验证明我们的方法在三个数据集上优于现有方法，尤其适用于小型、高速移动或遮挡物体。

May, 2024

通过跨任务一致性实现鲁棒学习

通过构建任意任务图的推理路径不变性以及利用跨任务一致性进行学习，可以更准确地预测和更好地泛化到分布之外的输入，并获得称为一致性能量的无监督度量，可作为无监督的置信度量和检测分布之外的输入的指标。

Jun, 2020

PathTrack: 利用路径监督实现快速的轨迹注释

本文介绍了一种有效的框架以及注释轨迹的方法，用于生成具有前所未有的规模的 MOT 数据集，并通过验证表明我们的方法比现有技术更加准确和高效。此外，我们还 crowdsourcing 了 PathTrack 数据集，这个大规模的数据集将对物体追踪及目标识别领域产生重要影响，证明了这个数据集的价值，并且用已有的数据训练之后另行测评的结果证明了我们的方法的有效性。

Mar, 2017