Apr, 2024

FlowMap: 高质量相机位姿、内参和深度的梯度下降

PDF
TL;DRFlowMap 是一种端到端可微分方法，用于解决视频序列的精确相机姿态、相机内参数和帧间密集深度。我们的方法通过基于梯度下降的最小二乘目标对由深度、内参和姿态引起的光流与通过现成的光流和点跟踪获得的对应进行比较来进行视频级梯度下降优化。此外，我们引入了可微分的深度、内参和姿态再参数化方式，以便进行一阶优化。我们的实证结果表明，我们的方法恢复的相机参数和密集深度能够使用高斯赋形在 360 度轨迹上实现逼真的新视角合成。我们的方法不仅在梯度下降的束调整方法方面表现得比之前的方法好得多，而且在 360 度新视角合成的下游任务中，与 COLMAP 这一最先进的 SfM 方法居然表现相当（尽管我们的方法完全基于梯度下降，完全可微分，并且与传统的 SfM 完全不同）。
flowmapcamera posescamera intrinsicsdense depthnovel view synthesis
发现论文，激发创造
  • DiffPoseNet: 直接可微相机位姿估计

    本文提出了一种基于深度学习的方法 NFlowNet，通过直接法而非经典的视觉 SLAM 方法，通过图像梯度来估算相机的位姿，实现了对于姿态的倒易约束，经实验证明该方法的泛化性能较好并优于其他已有方法。

    Mar, 2022

  • 融合流 - 深度提议的视频深度估计

    该研究提出了一种基于可微的光流深度预测层的方法，包括光流深度预测层、相机姿态优化模块和深度融合网络，该方法在三个公共数据集上的实验结果表明其性能优于现有的深度估计方法，并具有合理的交叉数据集泛化能力。

    Dec, 2019

  • DeepTAM: 深度跟踪与建图

    本文提出了一种基于关键帧的密集相机跟踪和深度图估计系统，该系统完全是通过学习而实现的，实现了小姿态增量的估计和大量姿态假设的产生，并通过成本体积累积信息和图像先验来更新深度预测，具有优越的 RGB-D 跟踪算法性能和与强大的传统和深度学习算法比较的竞争力。

    Aug, 2018

  • 鲁棒性一致的视频深度估计

    本文提出了一种用于估计一致密集深度图和相机姿态的算法，该算法基于学习的深度先验和几何优化相结合，不需要输入相机姿态，并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。

    Dec, 2020

  • 深度二视图结构运动再探讨

    本研究使用光流、姿态估计和深度估计网络，实现了相对摄像机位姿和深度图的两视角结构运动重建，表现明显优于现有的同类方法。

    Apr, 2021

  • 基于 Flow-Motion 和深度网络的单目立体视觉及其应用

    本研究提出了一种基于学习的单眼立体视觉方法，可扩展到多个目标帧的深度信息融合，具有优秀的精度和效率。

    Sep, 2019

  • 学习密集流场进行高精度跨视角摄像机定位

    通过学习地面和卫星图像中稠密的像素级光流场来计算相机姿态，本文提出了一种新的端到端方法，该方法与现有方法不同之处在于通过在像素级构建特征度量，从而实现全图监督学习从而获取地面和卫星图像的独特的几何配置和视觉外貌。经过广泛的实验，证明了与最新的方法相比，在 KITTI、Ford multi-AV、VIGOR 和 Oxford RobotCar 数据集上，我们的方法将中位数定位误差分别降低了 89%、19%、80% 和 35%。

    Sep, 2023

  • 从单目视频中无监督学习深度、相机姿态和光流

    DFPNet 是一种联合学习系统，通过单眼图像序列估计单眼景深、光流和自身运动（相机姿态），使用单一的复合损失函数进行训练，并使用超参数调整来使模型的大小小于目前市场上同类模型的 5％以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估，结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现，即使模型大小明显更小。

    May, 2022

  • DepthFM: 快速单目深度估计与流匹配

    使用流场匹配的方法，通过引入预训练的图像扩散模型作为先验，允许仅在合成数据上进行训练的深度估计模型在真实图像上得到泛化；引入辅助表面法线损失进一步改进深度估计，模型对深度估计的置信度进行可靠预测，且在复杂自然场景的标准基准上，轻量级的方法表现优秀且计算成本低。

    Mar, 2024

  • FlowCam：通过像素对齐场景流训练通用的无相机位姿 3D 辐射场

    提出了一种联合重构相机位姿和三维神经场表示的在线方法，通过可微分渲染将帧间光流提升到三维场流，通过加权最小二乘拟合场流场估计 SE（3) 相机姿态，同时可以通过重新渲染输入视频对相机姿态估计和通用神经场表示进行监督，从而在真实世界视频数据集上进行端对端和完全自我监督的训练。

    May, 2023