我们提出了一种新颖的测试时优化方法，可高效且鲁棒地跟踪视频中的任何像素。通过引入一种新颖的可逆形变网络 CaDeX ++，我们改进了效率和鲁棒性，并在架构设计中增加了更强的几何偏差，并利用视觉基础模型提供的归纳偏差。我们的系统利用单目深度估计来表示场景几何，并通过整合 DINOv2 的长期语义来调节优化过程，实验结果表明，与最先进的基于优化的方法 OmniMotion 相比，在训练速度（超过 10 倍）、鲁棒性和跟踪准确度方面得到了显著的改进。

Mar, 2024

本文介绍了 DOT，一种新颖、简单且高效的方法，用于解决点追踪中存在的遮挡问题，并且通过最近邻插值计算粗糙的初始估计密集流场和可见性掩码，然后利用可学习的光流估计器对其进行精细化处理。实验证明 DOT 相较于当前的光流技术更加准确，在速度方面至少快两个数量级。

Dec, 2023

本文介绍了 OmniFlow，这是一个新的合成全向人类光流数据集，通过渲染引擎创建自然的 3D 室内环境，用于训练光流估计的体积对应网络。

Apr, 2021

提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法，利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计；实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹，并在全静态场景上保持合理的摄像机姿态准确度，这也印证了基于光流和点轨迹的密集间接方法的潜力。

Jul, 2022

该论文提出了基于图像自相似性建模的全局运动聚合模块和基于 Transformer 的方法来解决光流算法中的遮挡问题，实现了在遮挡区域中光流估计的显著提高，并在 Sintel 数据集上取得了最新的 state-of-the-art 结果。

Apr, 2021

本文主要探究利用神经网络从无标注视频中学习单帧 3D 几何和连续帧光流，并将二者并行处理整合得到更好的结果，通过综合实验结果表明该方法优于其他方法。

Oct, 2018

本文提出了一种新方法， Multi-Flow dense Tracker (MFT) ，用于稠密、像素级、长期跟踪，通过对连续帧之间和对数间隔的帧之间的光学流进行估计，基于预先训练的 CNN 提供几何精度和遮挡概率，有效地选择了最可靠的一系列光流，并在 TAP-Vid-DAVIS 基准测试中实现了最先进的结果，其平均位置精度为 70.8％，平均 Jaccard 为 56.1％，平均遮挡精度为 86.9％，且对于中等长度的遮挡不敏感，通过对参考帧估计流来减少漂移。

May, 2023

该论文提出了一种名为 CoTracker 的架构，它利用了光流和跟踪文献中的几个思想，基于变压器网络来模拟不同点在时间上的相关性，可以在一个视频中联合跟踪多个点，支持在任何时候添加新的跟踪点。该算法在几乎所有基准测试中都优于最先进的方法。

Jul, 2023

本研究提出了一种新的多帧场景流计算方法，包括景深和光流以及相机自运动，同时从移动立体相机中观察动态场景，并将移动对象与固定场景分割开来。该技术在立体匹配和视觉里程计中使用独特的策略，融合移动目标的光流信息和相机基于运动流的信息来提高场景深度和相机自运动估计的精度和效率。

Jul, 2017

本文提出了一种简单而有效的多帧光流估计的融合方法，该方法利用了长期的时间线索，首先将前几帧的光流投影到当前帧，然后将这些光流之间携带的互补信息融合为一个新的光流场，并在 MPI Sintel 和 KITTI 2015 基准测试中排名第一。

Oct, 2018