稠密光学跟踪:连接数据点
我们提出了一种新的测试时间优化方法,用于从视频序列中估计密集和长程运动。该方法使用全局一致的运动表示法,并在局部和规范空间之间使用双向对应实现像素级跟踪,能够确保全局一致性,跟踪通过遮挡的像素,并模拟相机和物体运动的任意组合。
Jun, 2023
本文介绍了一种动态物体跟踪的方法,称为 DOT (Dynamic Object Tracking),该方法结合了实例分割和多视角几何来生成动态物体的掩模,可以显著提高现有 SLAM 系统在高度动态环境下的鲁棒性和准确性。我们通过在三个公共数据集上对 ORB-SLAM 2 进行评估,结果表明我们的方法显著提高了 ORB-SLAM 2 的准确性和鲁棒性,特别是在高度动态的场景下。
Sep, 2020
提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法,利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计;实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹,并在全静态场景上保持合理的摄像机姿态准确度,这也印证了基于光流和点轨迹的密集间接方法的潜力。
Jul, 2022
本研究论文扩展了 MFT 提出的将多个光流在对数间隔上结合的概念,证明了 MFT 与不同光流网络的兼容性,并展示了在 MFT 框架内的这些网络的简单而有效的组合,从而在长期跟踪应用中超越了它们的个体性能,并在位置预测准确性上与更复杂的非因果方法相竞争,彰显了 MFT 在增强长期跟踪应用方面的潜力。
Feb, 2024
该论文提出了一种名为 CoTracker 的架构,它利用了光流和跟踪文献中的几个思想,基于变压器网络来模拟不同点在时间上的相关性,可以在一个视频中联合跟踪多个点,支持在任何时候添加新的跟踪点。该算法在几乎所有基准测试中都优于最先进的方法。
Jul, 2023
本文提出了一种新方法, Multi-Flow dense Tracker (MFT) ,用于稠密、像素级、长期跟踪,通过对连续帧之间和对数间隔的帧之间的光学流进行估计,基于预先训练的 CNN 提供几何精度和遮挡概率,有效地选择了最可靠的一系列光流,并在 TAP-Vid-DAVIS 基准测试中实现了最先进的结果,其平均位置精度为 70.8%,平均 Jaccard 为 56.1%,平均遮挡精度为 86.9%,且对于中等长度的遮挡不敏感,通过对参考帧估计流来减少漂移。
May, 2023
本文提出了一种新的方法,从自动驾驶车辆的稀疏激光雷达数据中估计密集的光流,用作图像不可靠的情况下,如恶劣天气或夜间,替代任何基于图像的光流系统的替代方案。该方法使用多尺度滤波器的三级结构来推断离散范围数据的高分辨率 2D 流,并在 lidar 和图像域中结合多个中间目标。通过使用 FlowNet2 计算的假伪基于图像的光流,我们介绍了一个包含约 20K lidar 样本的 Kitti 数据集,并使用该数据集训练网络。我们在 Kitti 数据集上演示了我们方法的有效性,并表明尽管使用低分辨率和稀疏的 lidar 测量,我们可以回归与基于图像的方法相当的密集光流图。
Aug, 2018
本文提出了一种新的基于人群密度图的多目标追踪(MOT)算法 —— 计数式追踪。通过联合建模检测、计数和跟踪多个目标为网络流算法,该算法同时找到全局最优的多个目标检测和轨迹。该方法在人员、细胞和鱼群跟踪等各领域的公共基准测试中表现出了良好的结果。
Jul, 2020
通过引入创新的 2D 对齐网络以进行稠密的顶点对齐,我们提出了一种新颖的人脸追踪器 FlowFace,用于改善三维面部数据的精确性和避免反感谷效应。与先前的工作不同,FlowFace 是基于高质量的三维扫描注释进行训练,而不是基于弱监督或合成数据。我们的方法在自定义和公开可用的基准测试中表现出优秀的性能,并通过从二维视频生成高质量的三维数据来验证追踪器的有效性,这导致在下游任务中获得性能提升。
Apr, 2024