Mar, 2019

自监督学习用于单视图深度和表面法线估计

PDF
TL;DR本文提出了一种自监督学习框架来同时训练两个卷积神经网络 (CNNs)，从单个图像预测深度和表面法线，通过一个简单的深度 - 法线一致性软约束，该框架假设自然场景具有分段平滑的法线，通过训练得到的表面法线网络提供了最先进的预测，而深度网络依赖更现实的平滑法线假设，在 KITTI 基准测试中比传统的自监督深度预测网络表现更好。
发现论文，激发创造
  • 具边缘感知深度法向一致性的无监督几何学习

    本研究提出了一种基于表面法向量表示的深度无监督学习方法，通过构建深卷积网络层次结构，融入了边缘感知、光度误差和梯度平滑等前沿技术，从而实现单幅图像深度重建过程中的多种挑战，包括深度 / 法向量不连续和图像边缘保留等问题。在实验中，我们应用 KITTI 和 NYUv2 的室内外数据集来验证我们的算法的高效性和优越性。

    Nov, 2017

  • 无监督卷积神经网络用于单视角深度估计：几何的拯救

    本文提出了一种基于自编码器的无监督深度卷积神经网络学习框架，通过训练不需要预训练或注释的神经网络，为单视图深度预测提供了一种新的方法。

    Mar, 2016

  • 野外表面法线

    该研究探讨了针对野外图像的单幅图像深度估计问题。研究使用人工标注表面法线进行训练，并使用两个新颖的损失函数进行训练。研究表明，该方法可以显著提高野外深度估计质量。

    Apr, 2017

  • 为表面法线估计设计深度网络

    本文使用卷积神经网络进行单张图像表面法线的预测，并通过加入人工约束和中间表征优化网络结构，得到了表现最优的结果。

    Nov, 2014

  • 深入自监督单目室内深度估计

    室内深度自动估计的自我监督学习是困难的，挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。本文提出了一种名为 IndoorDepth 的新方法，包括两个创新点：首先，我们提出了一种改进的结构相似（SSIM）功能的新颖光度损失函数，用于应对低纹理区域的挑战；此外，为了进一步减轻不准确的自身运动预测问题，我们使用多个不同阶段的光度损失进行训练，以构建更深的姿态网络。通过对实验的深入研究，我们验证了每个新想法的有效性。在 NYUv2 基准测试中，我们的 IndoorDepth 方法在性能上超过了之前的最新方法。此外，我们还在 ScanNet 数据集上验证了我们的方法的泛化能力。

    Dec, 2023

  • StructDepth: 利用结构规律进行自监督室内深度估计

    本研究通过采用室内场景中表现出来的结构规律，采用两个额外的自我监督信号进行自我监督培训：1) 曼哈顿法线约束，2) 共面约束，来训练更好的深度网络。

    Aug, 2021

  • 单视图深度中的不确定性与自监督

    量化监督式单视图深度的不确定性的贝叶斯深度神经网络，通过光照作为单视图自我监督信号，提出了一种仅需 RGB 图像和内窥镜的几何和光度校准的完全自我监督方法。

    Jun, 2024

  • SuperDepth: 自监督、超分辨率单目深度估计

    本篇论文提出了一种基于子像素卷积层和翻转增强层的高分辨率自监督单目深度估计方法，在公共 KITTI 基准测试中取得了目前最好表现。

    Oct, 2018

  • Marr Revisited: 2D-3D 对齐通过表面法线预测

    利用表面法线预测和外观线索从大型 CAD 库中检索 2D 静态图像中所描述的物体的 3D 模型，该模型基于预训练 Oxford VGG 卷积神经网络（CNN），实现了关于表面法线预测的 NYUv2 RGB-D 数据集的最新准确性，并在姿态和风格的联合学习中实现了所述的 3D 模型检索操作。

    Apr, 2016

  • 单图像新视角合成的深度自监督

    通过联合优化图像生成和深度估计的框架，我们的方法在无视角预测的任务上取得了较高的生成图像质量和更准确的目标视角深度。

    Aug, 2023