ECCVJul, 2024

分解优化全面跟踪

TL;DR在这篇论文中,我们提出了一种名为 DecoMotion 的新的测试时间优化方法,用于估计每个像素和长距离运动。DecoMotion 将视频内容明确分解为静态场景和动态对象,通过类三维规范体进行表示。通过将局部空间和规范空间之间的变换协调起来,DecoMotion 实现了与相机运动相对应的静态场景的仿射变换,并利用有区别且时间连续的特征来校正非刚性变换,最终融合这两个规范体来完整表示运动和外观。通过这种分而治之的策略,我们的方法在遮挡和变形情况下能够实现更健壮的跟踪,并获得分解的外观。我们在 TAP-Vid 基准测试集上进行了评估,结果表明我们的方法在点追踪准确度上有很大提升,并与一些最先进的专用点追踪解决方案相媲美。