Jul, 2023

CoTracker: 更好的一起追踪

PDF
TL;DR该论文提出了一种名为 CoTracker 的架构，它利用了光流和跟踪文献中的几个思想，基于变压器网络来模拟不同点在时间上的相关性，可以在一个视频中联合跟踪多个点，支持在任何时候添加新的跟踪点。该算法在几乎所有基准测试中都优于最先进的方法。
video motion predictioncotrackertransformer networktracking algorithmstate-of-the-art methods
发现论文，激发创造
  • 稠密光学跟踪：连接数据点

    本文介绍了 DOT，一种新颖、简单且高效的方法，用于解决点追踪中存在的遮挡问题，并且通过最近邻插值计算粗糙的初始估计密集流场和可见性掩码，然后利用可学习的光流估计器对其进行精细化处理。实验证明 DOT 相较于当前的光流技术更加准确，在速度方面至少快两个数量级。

    Dec, 2023

  • 以点追踪物体

    本文提出了一种简单、快速而准确的目标检测和跟踪算法 CenterTrack，它可以同时进行检测和跟踪，且在线实时运行，是当前最先进的算法之一。

    Apr, 2020

  • ETTrack：增强的多目标跟踪时间性运动预测器

    提出了一种基于运动的多目标跟踪方法，称为 ETTrack，它融合了变换器模型和时间卷积网络，利用历史运动信息预测个体物体的未来运动，并通过新颖的动量修正损失函数提高了预测准确性，实验证明 ETTrack 在 DanceTrack 和 SportsMOT 上取得了与最先进跟踪器竞争性的性能，分别达到 56.4％和 74.4％的 HOTA 指标。

    May, 2024

  • 全面实时追踪万物

    我们提出了一种新的测试时间优化方法，用于从视频序列中估计密集和长程运动。该方法使用全局一致的运动表示法，并在局部和规范空间之间使用双向对应实现像素级跟踪，能够确保全局一致性，跟踪通过遮挡的像素，并模拟相机和物体运动的任意组合。

    Jun, 2023

  • 学习使用全局运动聚合来估计隐藏的运动

    该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

    Apr, 2021

  • TransFlow: Transformer 作为流学习器

    TransFlow 是一个基于 Transformer 结构的纯光流估计方法，通过利用空间自注意力机制和跨帧交叉注意力机制，实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息，并通过简单的自学习范式，消除复杂的多阶段预训练程序，在多个任务上实现了最先进的结果。

    Apr, 2023

  • 移动单目相机的运动分割

    本研究讨论了利用点轨迹和光流等方法相互融合，在移动的单目摄像头中识别和分割运动物体，实现对复杂场景中不同对象运动的模拟，最终取得了最先进的效果。

    Sep, 2023

  • ParticleSfM：利用稠密点轨迹定位野外运动相机

    提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法，利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计；实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹，并在全静态场景上保持合理的摄像机姿态准确度，这也印证了基于光流和点轨迹的密集间接方法的潜力。

    Jul, 2022

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 基于相关性学习的多目标跟踪

    本文提出了基于局部相关性模块的密集对应和可学习相关算子来增强模型的判别能力和对时间上下文的捕捉能力，从而在多目标跟踪方面取得了最先进的效果，并在 MOT17 数据集上实现了 76.5% 的 MOTA 和 73.6% 的 IDF1。

    Apr, 2021