学习深度协方差函数
我们的方法通过在网络中添加最新的 3D 几何数据作为额外输入,结合之前的几何提示,利用深度和 3D 场景重建领域中的先前工作,实现了与实时交互速度相比达到最先进的深度估计和场景重建。
Jun, 2024
通过利用传统的运动结构恢复来建立视频中像素的几何约束,使用基于学习的先验 —— 一种单图像深度估计的卷积神经网络,我们给出了一种用于重建密集、几何一致深度的算法。测试时,我们对这个网络进行微调,以满足特定输入视频的几何约束,同时保留其在视频中的其他区域中合成可信深度细节的能力。通过定量验证,我们证明了我们的方法比以前的单目重建方法有更高的准确性和更高的几何一致性。我们的算法能够处理具有轻度动态运动的挑战性手持捕获输入视频。改进重建的质量可以用于场景重建和高级视频视觉效果。
Apr, 2020
通过三个创新点,本研究提出了一个名为 DCPI-Depth 的框架,该框架采用稠密对应先验,通过上下文信息和光流进行深度感知,实现了在具有挑战性场景中的准确深度估计,并展示了更合理的平滑性。
May, 2024
利用来自惯性测量的全局方向和对场景内对象形状的偏差,来指导视觉三维重建,通过将得出的先验应用于单张图片深度预测的实验,发现某些类别的物体表面法向量可能趋向于与重力对齐或者垂直于重力,添加此先验在基准方法的基础上可以获得超过现有技术的改进,这展示了重力作为一种监督信号的强大效用。
Jul, 2018
本文提出了一种用于估计一致密集深度图和相机姿态的算法,该算法基于学习的深度先验和几何优化相结合,不需要输入相机姿态,并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。
Dec, 2020
该论文介绍了一种相对位姿估计方法,利用 RGBD 相机的 RGB 和深度信息,通过几何深度约束和嵌套 RANSAC 算法实现对相机位姿的快速准确估计。
Jan, 2024
我们提出了一种方法来从彩色图像和相关稀疏深度测量中推断出密集的深度图。我们采用自适应加权方案,结合正则化和共视性关系,利用每个像素点的残差来指导优化过程,以提高训练性能。该方法有效地应用于多种无监督深度完成方法,并在公共基准数据集上改善其性能,不会产生额外的可训练参数或增加推理时间。
Jun, 2021
本研究提出了一种基于高阶 3D 几何约束的深度预测模型,通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数,能够显著提高深度预测的准确性,从而实现直接从深度图中恢复场景的 3D 结构(如点云和表面法向),进而消除了训练新子模型的必要性,并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。
Jul, 2019