CVPRMay, 2023

在野外环境中跟踪容器和遮挡物

PDF
TL;DR本文介绍了一个名为 $ extbf {TCOW}$ 的新基准和模型，用于在存在较强遮挡和包容的情况下进行视觉跟踪，并通过混合数据集支持模型性能的监督学习和结构化评估。该文还测试了两种基于 transformer 的视频模型在跟踪任务上的表现，并发现它们在特定的任务变化设置下具有一定的跟踪能力，但在说服地表达目标对象持久性之前仍存在相当大的性能差距。
发现论文，激发创造
  • 视觉目标跟踪中的硬遮挡

    本文聚焦于困难遮挡情况的视觉目标跟踪问题，并针对最近的 SOTA 跟踪器在难度不同的遮挡分类问题上的表现进行性能评估，结果表明，困难的遮挡问题仍然是目标跟踪领域的一个非常具有挑战性的问题，因此在现实世界中采用跟踪器时，需要对不同类型的遮挡进行更为专业的评估。

    Sep, 2020

  • 学习目标不变的物体跟踪

    该论文提出了一种端到端可训练的方法，结合物体检测和跟踪，并引入了序列记忆模块，使其更好地处理多物体跟踪，尤其是遮挡的情况。经过大规模的合成数据和实际测试，在 KITTI 和 MOT17 数据集上取得了最先进的性能表现。

    Mar, 2021

  • 开放式实时追踪

    本文提出了一个新的用于在开放世界环境中追踪任何物体的基准测试 ——TAO-OW，并分析了多物体追踪方面的现有努力，并为此任务构建了一个基线，同时强调了未来的挑战。

    Apr, 2021

  • OcTr：基于八叉树 Transformer 的 3D 物体检测

    本文介绍了一种名为 OcTr 的基于八叉树的 Transformer 方法，通过动态构建八叉树从而实现对远距离或 / 和遮挡物体的有效检测，进一步提出了一种混合位置编码方法以增强前景感知，实验表明 OcTr 方法在 Waymo 开放数据集和 KITTI 数据集上均取得了最新的最佳结果。

    Mar, 2023

  • 通过基于物体的分层表示进行移动物体分割

    本篇论文介绍了一个基于对象中心的分割模型，借助变压器架构对光流进行处理来实现视频中的多个运动对象发现、追踪与分割。同时，采用可伸缩管线生成多对象合成训练数据，以及深度学习模型的全面验证研究，并证明其在表现、预测能力等方面都具备领先水平。

    Jul, 2022

  • TAO: 一个用于追踪任何物体的大规模基准

    该研究介绍了一个多样化的跟踪数据集，采用自下而上的方法获取了一个比以前跟踪基准的种类翻了一个数量级的大词汇，并进行评估表明现有的多种对象跟踪器在野外场景中存在困难，而基于检测的多对象跟踪器实际上是有竞争力的。

    May, 2020

  • 通过空间和时间变换器进行端到端多目标跟踪，超越两帧限制

    使用 Transformer 和时空嵌入的 MO3TR 方法，具有空间和时间注意机制，无需显式的数据聚类模块或任何启发式方法，成功解决了多物体追踪过程中的诸多挑战，表现方面同多个 popular MOT 图像和视频基准测试的现有最先进技术几乎相当或更好。

    Mar, 2021

  • 利用 4D 神经场揭示遮挡物

    这篇论文介绍了一种从单目 RGB-D 学习 4D 视觉表示估计的框架，通过将点云编码成连续表示，该模型能够在时空上跨越上下文从而解决遮挡问题，实验证明这种方法可以成功地处理遮挡问题，并自动学习跟随遮挡物体的注意机制，可以用于许多视频理解任务。

    Apr, 2022

  • 使用大型预训练模型进行零样本开放词汇跟踪

    通过重复用大规模预训练模型进行检测和分割，本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型，并在多个评估数据集上取得了强大的性能表现。

    Oct, 2023

  • 基于轨迹辅助的事件摄像头物体检测

    在这篇论文中，我们考虑将不可见的物体视为伪遮挡物体，并旨在揭示它们的特征。我们提出了可视属性和自动标注算法来处理现有事件相机数据集，并利用跟踪策略来保持伪遮挡物体的永久性和边界框，同时引入了时空特征聚合模块和一致性损失以提高整体流程的稳健性。实验证明，额外的可见性标签可以辅助有监督训练，并且我们的方法在绝对 mAP 上比最先进的方法表现出显著的改进，提高了 7.9%。

    Mar, 2024