ICCVSep, 2023

GasMono：室内场景中基于几何辅助的自监督单目深度估计

PDF
TL;DR通过多视图几何从单目序列中获取粗略相机姿态以解决室内场景中自监督单目深度估计的挑战，通过旋转和平移 / 缩放优化来改进姿态，通过全局推理的视觉变换器和迭代的自蒸馏机制软化低纹理效果，实验结果显示了框架中每个组件的有效性，并提供了室内自监督单目深度估计的新的技术水平以及出色的泛化能力。
self-supervised monocular depth estimationindoor scenesrotationlow texturevision transformers
发现论文，激发创造
  • MonoIndoor++: 自我监督单目深度估计在室内环境中的更好实践

    提出了一种基于 transformer 网络的深度分解模块、一个迭代的相机位置残差估计模块和一个直接进行坐标卷积编码的坐标引导策略，从而提高了自监督单目深度估计方法在室内环境中的性能。

    Jul, 2022

  • MonoIndoor: 针对室内环境进行自监督单目深度估计的最佳实践

    本研究聚焦于自监督单目深度估计在室内环境下的困难，通过引入深度分解模块和残差姿态估计模块分别解决深度网络和姿态网络中的问题，实现相对室外环境更好的表现。

    Jul, 2021

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 深入自监督单目室内深度估计

    室内深度自动估计的自我监督学习是困难的，挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。本文提出了一种名为 IndoorDepth 的新方法，包括两个创新点：首先，我们提出了一种改进的结构相似（SSIM）功能的新颖光度损失函数，用于应对低纹理区域的挑战；此外，为了进一步减轻不准确的自身运动预测问题，我们使用多个不同阶段的光度损失进行训练，以构建更深的姿态网络。通过对实验的深入研究，我们验证了每个新想法的有效性。在 NYUv2 基准测试中，我们的 IndoorDepth 方法在性能上超过了之前的最新方法。此外，我们还在 ScanNet 数据集上验证了我们的方法的泛化能力。

    Dec, 2023

  • 自监督单目深度估计的细粒度语义感知表示增强

    本文提出了在无监督单目深度估计中引入跨域语义信息以提高几何表示的新思路，包括度量学习方法和特征融合模块，并在 KITTI 数据集上全面评估，在弱质地区和物体边界的监督限制下，本文提出的方法优于现有技术。

    Aug, 2021

  • 自监督学习的深度和运动在光度不一致下的训练

    本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法，该方法不需要基础数据的支持，增加了更强的几何量和时间图像序列内部一致性的约束条件，能够显著提高单目图像序列深度和相对姿态估计的性能。

    Sep, 2019

  • 几何与语义相遇：半监督单目深度估计

    通过利用语义标记的图像和通过图像变形获得的无监督信号来联合学习语义分割和深度估计，提出了一种半监督的深度估计方法，结果表明在 KITTI 数据集上超过了单目深度估计的先进方法。

    Oct, 2018

  • 单目视频中几何约束的自监督学习：连接光流、深度和相机

    GLNet 是一种自监督框架，可从单目视频中学习深度估计、光流、相机姿态和内在参数，包括设计考虑多种几何约束及自适应光度损失的新型损失函数、扩展模型以预测相机内参、提出几种在线细化策略。在 KITTI 和 Cityscapes 数据集上，GLNet 优于以前的自监督方法，并且在 YouTube 视频中表现良好。

    Jul, 2019

  • MGNet: 自动驾驶的单目几何场景理解

    MGNet 是一个用于单目几何场景理解的多任务框架，结合了全景分割和自监督单目深度估计两个任务，旨在提供低延迟、实时单 GPU 推理，实现单高分辨率摄像头图像的密集 3D 点云和实例感知语义标签。研究人员在 Cityscapes 和 KITTI 数据集上进行了验证，发现其与其他实时方法的性能相当。

    Jun, 2022

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020