May, 2023

S$^3$Track：自监督跟踪与软分配流

PDF
TL;DR本文旨在研究不使用任何视频级联标签的自监督多目标跟踪问题，并通过不同 iable 可微分的软目标分配来解决问题，使用时间和多视图数据进行训练，从而获得关于目标的关联伪标签。与大多数依赖于学习特征对应关系预算任务的自监督跟踪方法不同，我们的方法直接优化于复杂情景下的交叉对象关联，为鲁棒的重新识别 MOT 方法提供了一种解决方案，不会受到 Minima 的影响。在 KITTI、Waymo、nuScenes 和 Argoverse 数据集上评估我们的模型，与其他无监督方法相比，一致提高了 nuScenes 上的关联精度（7.8%）。
发现论文，激发创造
  • 针对无监督视频多物体分割的目标感知对象发现和关联

    该研究提出了一种新颖的无监督视频多目标分割方法，通过结合前景区域估计和实例分组来提高实例判别，引入判别性外观模型用于目标跟踪，实现更准确的物体发现，以及采用自适应内存更新等三种策略提高分割准确性和推理速度，并在 DAVIS17 和 YouTube-VIS 数据集上超越了现有技术的表现。

    Apr, 2021

  • 不确定性感知的自监督三维数据关联

    本研究提出利用自我监督度量学习的方式，以数据关联为重点，从大量未标注数据集中学习 3D 物体跟踪器。自我监督注释可以被用于有原则的学习点云嵌入，实现数据关联和 3D 跟踪。估计并结合跟踪的不确定度，设计嵌入以识别不同帧间的物体，通过未标注数据的训练，实现了更强大的跟踪效果。最终得到的跟踪器能够在帧间执行准确的数据关联，在 3D 跟踪中表现出色。

    Aug, 2020

  • 准确孪生跟踪的无监督学习

    该研究提出了一种新的无监督跟踪框架，通过跟踪变化明显的物体，解决了以往模板匹配无法处理较长时间跨度的问题，并通过正向和反向跟踪视频，学习了时间上的对应关系并且通过提出的一致性传播转换和不可微的区域遮盖，构建了一个可靠的特征模板，采用基于质量伪标签动态赋权值的策略，提高了学习效果，达到了 TrackingNet 和 LaSOT 等大规模数据集上有监督方法的表现水平。

    Apr, 2022

  • 基于时间尺度连续性的自监督多目标跟踪

    通过在图像序列帧上进行一致的关联性评分，我们提出了一种学习重新识别特征的训练目标，可以显著降低 ID 开关，即使在 BDD100k 基准测试中表现和受监督的方法相当，也能够设置自监督多目标跟踪的新颖技术。

    Apr, 2023

  • SoDA: 基于软数据关联的多目标跟踪

    提出一种应用注意力度量编码来解决自动驾驶场景下多目标跟踪问题的方法，此方法通过软性数据关联来聚合所有物体检测的信息，从而使得模型能够在数据驱动的方式下推理出目标物体的遮挡情况并进行跟踪，实验结果表明该方法在规模较大的数据集上优于现有的视觉多目标跟踪技术。

    Aug, 2020

  • 联合任务自监督学习用于时间对应

    本文提出了一种利用自我监督方式从视频中学习可靠密集对应关系的方法，通过跟踪大规模图像区域和建立连续视频帧之间的像素级细粒度关联来实现。该方法利用共享的帧内亲和矩阵来建模两个任务之间的协同作用，在区域级别和像素级别同时建模视频帧之间的转换，从而在视觉对应任务中实现了优异的表现。

    Sep, 2019

  • 无监督深度表示学习用于实时跟踪

    提出了一种无监督学习方法，基于 Siamese 相关滤波网络，在前向追踪和反向追溯之间进行一致性测量来训练视觉跟踪器，并提出了多帧验证方案和一种成本敏感的损失来促进无监督学习，该方法在速度上达到实时水平，在不使用昂贵标记数据的情况下，实现与现有标准跟踪器相当的准确度，而且在使用更多未标记或弱标记数据的情况下，该方法有进一步提高跟踪精度的潜力。

    Jul, 2020

  • FANTrack: 基于特征关联网络的三维多目标跟踪

    我们提出了一种数据驱动的方法，使用卷积神经网络（CNN）在一个检测跟踪框架中进行数据关联来进行在线多目标跟踪（MOT）。我们的解决方案学习如何在数据和图像之间组合线索来解决关联问题，可以在处理复杂情况下准确跟踪物体并获得优异结果。

    May, 2019

  • 多目标跟踪的深度网络流

    本文讲述了如何通过反向传播学习网络流量数据关联的特征，通过应用到多目标跟踪中，消除了费用手工设计的烦恼，且在各种情况下测试表明相比手工设计费用，其效果更佳。

    Jun, 2017

  • 自监督学习的视频对应流

    本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法，其中使用自然的时空一致性训练指针模型，并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战，最终取得了在视频分割和关键点跟踪上的最佳效果。

    May, 2019