CVPRApr, 2024

SpatialTracker: 在 3D 空间中跟踪任意 2D 像素

TL;DR通过估计 3D 空间中的点轨迹以减轻由图像投影引起的问题,本研究提出了一种名为 SpatialTracker 的方法,使用单目深度估计器将 2D 像素提升为 3D,并使用三平面表示高效地呈现每帧的 3D 内容,并使用变换器进行迭代更新以估计 3D 轨迹,通过在 3D 空间中进行跟踪,充分利用几乎刚性的约束,同时学习将像素分成不同刚性部件的刚性嵌入,广泛的评估结果显示,我们的方法在定性和定量上都实现了最先进的跟踪性能,特别是在包括平面外旋转等具有挑战性的场景中。