Feb, 2024

GAM-Depth: 利用梯度感知掩蔽和语义约束的自监督室内深度估计

PDF
TL;DR基于自我监督的深度估计方法已经发展成为一种最小化光度损失的图像重建任务。本文提出了 GAM-Depth，它由梯度感知掩码和语义约束两个新颖的组件构成，以解决室内深度估计中纹理缺失区域的深度一致性问题和物体边界处的深度不一致性。通过分配基于梯度大小的权重，梯度感知掩码实现了对关键区域和无纹理区域的自适应和鲁棒的监督。在室内自我监督深度估计中引入语义约束可以改善物体边界处的深度不一致性，利用预训练分割模型的代理语义标签和共优化网络。实验证明，GAM-Depth 在包括 NYUv2、ScanNet 和 InteriorNet 在内的三个室内数据集上优于现有方法，达到了业界领先的性能，是室内深度估计领域的有意义的进展。我们的代码将在此 https URL 上公开。
self-supervised depth estimationgam-depthgradient-aware masksemantic constraintsindoor depth estimation
发现论文，激发创造
  • 自监督单目深度估计的细粒度语义感知表示增强

    本文提出了在无监督单目深度估计中引入跨域语义信息以提高几何表示的新思路，包括度量学习方法和特征融合模块，并在 KITTI 数据集上全面评估，在弱质地区和物体边界的监督限制下，本文提出的方法优于现有技术。

    Aug, 2021

  • 利用自监督深度估计提高语义分割的三种方法

    提出了一种半监督语义分割的框架，采用自监督单目深度估计和利用场景几何形状强数据扩增的方式，结合深度特征差异和难度级别，通过学生 - 教师框架选择最有用的样本进行语义分割的注释，实现了在 Cityscapes 数据集上半监督语义分割的最好结果。

    Dec, 2020

  • 自监督单目深度估计：通过语义引导解决动态物体问题

    本文提出了一种自主引导的语义深度估计方法（SGDepth），通过交叉域训练避免移动车辆和行人等动态类别对象对深度标签的干扰，利用异构网络头进行语义分割和深度估计，采用语义遮罩机制预防动态物体的污染，并引入一种检测算法学习移动类别对象的深度。通过在多个数据集上评估验证了该方法的性能。

    Jul, 2020

  • 深度边缘：分割和深度之间的显式约束

    本研究探讨了计算机视觉中两个常见任务，即自监督深度估计和图像语义分割的相互效益。作者提出通过测量图像分割和深度之间的边界一致性并通过贪婪法迭代监督网络来最小化这种一致性，并通过实验表明，解决了 KITTI 中无监督单眼深度估计问题的状态 - of-art 得到了提高。

    Apr, 2020

  • 利用掩模引导的自适应一致性约束改善神经室内表面重建

    通过两阶段训练过程、解耦视角相关与视角无关颜色、借助两个新的一致性约束来提高详细重建性能，同时引入关键的掩码方案以自适应地影响监督约束的选择，从而改善自我监督范式下的性能，在合成和真实世界数据集上的实验证明了降低先验估计错误干扰和实现高质量场景重建的能力，并保留了丰富的几何细节。

    Sep, 2023

  • GasMono：室内场景中基于几何辅助的自监督单目深度估计

    通过多视图几何从单目序列中获取粗略相机姿态以解决室内场景中自监督单目深度估计的挑战，通过旋转和平移 / 缩放优化来改进姿态，通过全局推理的视觉变换器和迭代的自蒸馏机制软化低纹理效果，实验结果显示了框架中每个组件的有效性，并提供了室内自监督单目深度估计的新的技术水平以及出色的泛化能力。

    Sep, 2023

  • StructDepth: 利用结构规律进行自监督室内深度估计

    本研究通过采用室内场景中表现出来的结构规律，采用两个额外的自我监督信号进行自我监督培训：1) 曼哈顿法线约束，2) 共面约束，来训练更好的深度网络。

    Aug, 2021

  • 深入自监督单目室内深度估计

    室内深度自动估计的自我监督学习是困难的，挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。本文提出了一种名为 IndoorDepth 的新方法，包括两个创新点：首先，我们提出了一种改进的结构相似（SSIM）功能的新颖光度损失函数，用于应对低纹理区域的挑战；此外，为了进一步减轻不准确的自身运动预测问题，我们使用多个不同阶段的光度损失进行训练，以构建更深的姿态网络。通过对实验的深入研究，我们验证了每个新想法的有效性。在 NYUv2 基准测试中，我们的 IndoorDepth 方法在性能上超过了之前的最新方法。此外，我们还在 ScanNet 数据集上验证了我们的方法的泛化能力。

    Dec, 2023

  • FG-Depth: 基于光流引导的无监督单目深度估计

    本文介绍了一种名为 FG-Depth 的简单而有效的框架，通过利用预训练的 Flow-Net 的先验知识来引导优化，从而打破了无监督单眼深度估计的瓶颈，提出了流蒸馏损失和基于先验流的掩模来提高模型性能以及消除噪声，实验结果表明，该方法在 KITTI 和 NYU-Depth-v2 数据集上均达到了最领先的效果。

    Jan, 2023

  • 自监督单目深度的语义引导表示学习

    本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

    Feb, 2020