自适应法向约束下的遮挡感知深度估计
提出了一种新的单幅图像深度估计方法,使用自适应表面法线约束,可以有效地将深度估计与几何一致性相关联,从而重建出准确的 3D 几何形状,其稳健性强,并在公共数据集上优于现有技术。
Mar, 2021
通过利用传统的运动结构恢复来建立视频中像素的几何约束,使用基于学习的先验 —— 一种单图像深度估计的卷积神经网络,我们给出了一种用于重建密集、几何一致深度的算法。测试时,我们对这个网络进行微调,以满足特定输入视频的几何约束,同时保留其在视频中的其他区域中合成可信深度细节的能力。通过定量验证,我们证明了我们的方法比以前的单目重建方法有更高的准确性和更高的几何一致性。我们的算法能够处理具有轻度动态运动的挑战性手持捕获输入视频。改进重建的质量可以用于场景重建和高级视频视觉效果。
Apr, 2020
本文研究如何利用法线估计模型和预测的法线图提高深度质量,方法包括联合学习多视角法线估计和深度估计模块以及提出一种新的一致性损失来训练一个独立的一致性模块来细化深度 / 法线对。实验结果表明,该方法具有高精度、平滑等优点,在多个数据集上的表现均优于现有技术。
Nov, 2019
本研究提出了一种基于高阶 3D 几何约束的深度预测模型,通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数,能够显著提高深度预测的准确性,从而实现直接从深度图中恢复场景的 3D 结构(如点云和表面法向),进而消除了训练新子模型的必要性,并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。
Jul, 2019
基于物理驱动的深度学习框架用于单目深度估计,通过假设 3D 场景由分段平面组成,提出了一种新的正常 - 距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法,值得注意的是,它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023
本研究提出了一种基于表面法向量表示的深度无监督学习方法,通过构建深卷积网络层次结构,融入了边缘感知、光度误差和梯度平滑等前沿技术,从而实现单幅图像深度重建过程中的多种挑战,包括深度 / 法向量不连续和图像边缘保留等问题。在实验中,我们应用 KITTI 和 NYUv2 的室内外数据集来验证我们的算法的高效性和优越性。
Nov, 2017
本文提出了一种用于估计一致密集深度图和相机姿态的算法,该算法基于学习的深度先验和几何优化相结合,不需要输入相机姿态,并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。
Dec, 2020
本文提出了一种新颖的深度细化框架,旨在恢复逆深度图的分段平面特征,该框架将逆深度图建模为像素之间的加权图,设计了一种自动估计每个像素平面的正则化项,经过实验证明,该方法在视觉和数值上均相对于 Middlebury、KITTI 和 ETH3D 多视角立体数据集上的最先进算法有重大改进。
Dec, 2019
本文提出了一种在动态视频场景中估算深度的算法,该算法结合了方面、运动、遮挡边界和场景几何上下文来学习和推断深度信息,并利用马尔可夫随机场框架和分块平面参数化相结合的方法预测新场景中的深度信息,验证结果在新数据集和在线数据集中均表现良好。
Oct, 2015
通过假设 3D 场景由分段平面组成,本文提出了针对单目深度估计和补全任务的新型物理(几何)推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出,提出了一个法线 - 距离模块。同时,通过开发出平面感知一致性约束来规范化表面法线和距离图,并将其转换为深度图。此外,还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明,我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。
Nov, 2023