Jul, 2019

强制执行虚拟法线的几何约束以进行深度预测

PDF
TL;DR本研究提出了一种基于高阶 3D 几何约束的深度预测模型，通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数，能够显著提高深度预测的准确性，从而实现直接从深度图中恢复场景的 3D 结构（如点云和表面法向），进而消除了训练新子模型的必要性，并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。
发现论文，激发创造
  • 虚拟正常：强制几何约束以获得精确稳健的深度预测

    研究表明，设计一种损失函数，以强制执行由重构的三维空间中随机抽样的三个点确定的虚拟法线方向的简单几何约束，可以显著提高单目深度估计的准确性和鲁棒性，并提出了一种利用虚拟法线学习鲁棒的仿射不变深度的方法。

    Mar, 2021

  • NDDepth：正态 - 距离辅助单目深度估计

    基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

    Sep, 2023

  • 自适应法向约束下的遮挡感知深度估计

    提出了一种基于学习的多帧深度估计方法，通过引入组合法线图约束和遮挡感知策略，能更好地保留室内场景中的高曲率特征和全局平面区域，并优于其他算法在深度估计精度和保存几何特征方面的表现。

    Apr, 2020

  • 鲁棒的几何保持深度估计 - 使用可微分渲染

    通过混合数据集训练模型，预测几何保持的深度，并通过渲染重建场景的新视图以及设计损失函数，促进不同视角下深度估计的一致性，实现了对领域特定尺度和平移系数的自主恢复，优于现有最先进方法的多个基准数据集。

    Sep, 2023

  • 地理监督的视觉深度预测

    利用来自惯性测量的全局方向和对场景内对象形状的偏差，来指导视觉三维重建，通过将得出的先验应用于单张图片深度预测的实验，发现某些类别的物体表面法向量可能趋向于与重力对齐或者垂直于重力，添加此先验在基准方法的基础上可以获得超过现有技术的改进，这展示了重力作为一种监督信号的强大效用。

    Jul, 2018

  • NDDepth：基于法线和距离辅助的单目深度估计和补全

    通过假设 3D 场景由分段平面组成，本文提出了针对单目深度估计和补全任务的新型物理（几何）推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出，提出了一个法线 - 距离模块。同时，通过开发出平面感知一致性约束来规范化表面法线和距离图，并将其转换为深度图。此外，还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明，我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。

    Nov, 2023

  • 野外表面法线

    该研究探讨了针对野外图像的单幅图像深度估计问题。研究使用人工标注表面法线进行训练，并使用两个新颖的损失函数进行训练。研究表明，该方法可以显著提高野外深度估计质量。

    Apr, 2017

  • 正常辅助立体深度估计

    本文研究如何利用法线估计模型和预测的法线图提高深度质量，方法包括联合学习多视角法线估计和深度估计模块以及提出一种新的一致性损失来训练一个独立的一致性模块来细化深度 / 法线对。实验结果表明，该方法具有高精度、平滑等优点，在多个数据集上的表现均优于现有技术。

    Nov, 2019

  • 深度估计的自适应表面法向约束

    提出了一种新的单幅图像深度估计方法，使用自适应表面法线约束，可以有效地将深度估计与几何一致性相关联，从而重建出准确的 3D 几何形状，其稳健性强，并在公共数据集上优于现有技术。

    Mar, 2021

  • StructDepth: 利用结构规律进行自监督室内深度估计

    本研究通过采用室内场景中表现出来的结构规律，采用两个额外的自我监督信号进行自我监督培训：1) 曼哈顿法线约束，2) 共面约束，来训练更好的深度网络。

    Aug, 2021