AAAIFeb, 2021

通过实例感知的投影一致性学习动态场景下的单目深度

TL;DR本文提出了一种监督学习的、以单目摄像头为基础的端到端联合训练框架,该框架明确地建立了多个动态物体的 6-DoF 运动、自运动和景深,通过使用神经正向投影模块建立几何正确的投影流水线,在建模每个刚性物体的运动时突出了逆投影和正向投影之间的基本差异。通过使用任何现成的实例分割和光流模型,我们介绍了一种通用的自动注释方案来生成视频实例分割映射,这些映射将用作训练管道的输入。最后,我们使用 KITTI 和 Cityscapes 数据集进行了广泛的实验研究,证明了我们的框架优于现有的深度和运动估计方法。