野外表面法线
本文提出了一种自监督学习框架来同时训练两个卷积神经网络 (CNNs),从单个图像预测深度和表面法线,通过一个简单的深度 - 法线一致性软约束,该框架假设自然场景具有分段平滑的法线,通过训练得到的表面法线网络提供了最先进的预测,而深度网络依赖更现实的平滑法线假设,在 KITTI 基准测试中比传统的自监督深度预测网络表现更好。
Mar, 2019
基于物理驱动的深度学习框架用于单目深度估计,通过假设 3D 场景由分段平面组成,提出了一种新的正常 - 距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法,值得注意的是,它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023
本研究提出了一种基于高阶 3D 几何约束的深度预测模型,通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数,能够显著提高深度预测的准确性,从而实现直接从深度图中恢复场景的 3D 结构(如点云和表面法向),进而消除了训练新子模型的必要性,并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。
Jul, 2019
本文提出了一种神经网络来估算单张 RGB 图像中前景人物的详细深度图,其中分离深度图为平滑基础模型和残差细节模型设计出两个分支的网络来回归它们,并利用一种新的网络层将粗深度图和表面法线融合以进一步提高最终结果。
Oct, 2019
本研究提出了一种基于表面法向量表示的深度无监督学习方法,通过构建深卷积网络层次结构,融入了边缘感知、光度误差和梯度平滑等前沿技术,从而实现单幅图像深度重建过程中的多种挑战,包括深度 / 法向量不连续和图像边缘保留等问题。在实验中,我们应用 KITTI 和 NYUv2 的室内外数据集来验证我们的算法的高效性和优越性。
Nov, 2017
通过使用一阶微分特性 (即,表面法线),本文展示了训练神经表示形成高准确度的 3D 表面重建,即使只有两个 RGB 视图可用,极大地改善了以前难以捕捉的复杂几何细节和薄结构。
Jun, 2024
通过假设 3D 场景由分段平面组成,本文提出了针对单目深度估计和补全任务的新型物理(几何)推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出,提出了一个法线 - 距离模块。同时,通过开发出平面感知一致性约束来规范化表面法线和距离图,并将其转换为深度图。此外,还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明,我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。
Nov, 2023
研究表明,设计一种损失函数,以强制执行由重构的三维空间中随机抽样的三个点确定的虚拟法线方向的简单几何约束,可以显著提高单目深度估计的准确性和鲁棒性,并提出了一种利用虚拟法线学习鲁棒的仿射不变深度的方法。
Mar, 2021
本论文提出了一种基于 RGB-D 图像的表面法向估计的分层融合网络和自适应特征再加权,设计了混合多尺度损失函数来学习准确的法向估计,实验证明了该方法在场景理解中的有效性。
Apr, 2019