ICLROct, 2022

分离和增强：用于尺度不变自监督单目深度估计的双引擎

PDF
TL;DR本研究提出了一种自监督的单目深度估计方法，通过剥离具有尺度敏感性的特征和采取仿真相机缩放的数据增强方法来提高尺度不变性，并使用动态跨尺度交叉注意力模块进一步加强尺度不变特征，在 KITTI 数据集上取得了目前最佳性能。
monocular depth estimationself-supervised learningscale-invariant featuresdata augmentationcross-attention module
发现论文，激发创造
  • 基于 SSI 深度的尺度不变单目深度估计

    借助 SSI 输入来增强 SI 深度估计的新方法，通过引入一个新的稀疏排序损失，实现 SSI MDE 中高分辨率细节的生成，同时在计算摄影应用中展示了其生成高度详细的 SI 深度图并在多种情境中实现了泛化。

    Jun, 2024

  • 自我监督的单眼深度估计中迈向更好的数据利用

    通过使用数据增强技术和细节增强的 DepthNet，该文提出了一种自我监督单目深度估计方法，拓展了训练数据的利用，并在 KITTI、Make3D 和 NYUv2 数据集上实现了最先进的性能。

    Sep, 2023

  • 通过自我监督辅助深度估计学习增强目标跟踪

    RGB-D 跟踪大大提高了物体追踪的准确性，但其对真实深度输入的依赖性和多模态融合的复杂性限制了其在各种场景中的适用性。我们提出了一种名为 MDETrack 的新方法，通过受监督或自监督辅助单眼深度估计学习，训练一个具有理解场景深度能力的跟踪网络，将 MDETrack 统一特征提取器的输出分别输入到并行的跟踪头和辅助深度估计头中。请参考我们在多个数据集上使用各种训练策略评估了我们的模型，结果显示即使没有真实的深度数据，我们的模型在物体追踪准确度上有所提升，从这些发现中我们突出了深度估计在提高物体追踪性能方面的潜力。

    May, 2024

  • 朝着零样本比例感知单目深度估计的方向

    本文提出了一种称为 ZeroDepth 的单目深度估计框架，采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果，优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。

    Jun, 2023

  • 从视频中无监督学习尺度一致的深度

    本文提出了一种单目深度估计器 SC-Depth，它只需要使用未标记的视频进行训练，并能在推理时实现尺度一致的预测。我们的贡献包括：(i) 我们提出了一种几何一致性损失，惩罚相邻视角之间预测深度的不一致性；(ii) 我们提出了自动定位违反基本静态场景假设并在训练过程中引起噪声信号的移动对象的自我发现掩码；(iii) 我们通过详细的消融研究证明了每个组件的功效，并展示了在 KITTI 和 NYUv2 数据集中高质量的深度估计结果。此外，由于具有尺度一致性预测的能力，我们展示了我们训练的单目深层网络可以轻松地集成到 ORB-SLAM2 系统中以实现更强大和准确的跟踪。提出的混合 Pseudo-RGBD SLAM 在 KITTI 中具有很强的性能，并且在没有额外训练的情况下很好地推广到 KAIST 数据集。最后，我们提供了几个演示以进行定性评估。

    May, 2021

  • RA-Depth: 分辨率自适应自监督单目深度估计

    本研究提出了一种分辨率自适应的自监督单目深度估计方法，通过数据增强和多路径编码器解码器等方法提高特征融合精度，进而在 KITTI，Make3D 和 NYU-V2 等数据集上取得了具有竞争力的结果。

    Jul, 2022

  • 单目自监督深度估计的多模态比例一致性和感知

    通过提出一个动态加权的 GPS-to-Scale 损失函数来利用全球定位系统数据提高稠密深度估计，从而实现尺度一致和感知的深度估计。

    Mar, 2021

  • SynDistNet: 自监督单目鱼眼相机与语义分割结合的自动驾驶距离估计

    本研究针对自监督学习方法在鱼眼和针孔相机等复杂投影模型下无法很好地应用于距离估计的问题，提出了一种新的多任务学习策略。通过引入自注意力编码器和用鲁棒的语义特征指导解码器的距离估计网络结构，我们成功地将性能提升了 25％。同时，采用去除超参数调节的广义鲁棒损失函数和语义掩蔽策略来缓解动态物体违反静态世界假设所引起的估计误差。该方法不需要外部尺度估计，并且在 KITTI 数据集和针孔模型上达到了自监督方法的最佳性能水平。

    Aug, 2020

  • 借助自监督深度估计改进半监督和领域自适应语义分割

    本文提出了一种半监督和领域自适应的语义分割框架，它利用自监督单目深度估计（SDE）来增强。该框架采用 SDE 作为辅助任务，通过选择最有用的样本、实现数据增强、转移 SDE 学习到的特征以及利用 Cross-Domain DepthMix 和 Match Geometry Sampling 来利用额外的标记合成数据与真实数据对齐，同时在 Cityscapes 数据集上进行了验证，并获得了半监督语义分割和半监督领域适应的最先进结果。

    Aug, 2021

  • MonoIndoor++: 自我监督单目深度估计在室内环境中的更好实践

    提出了一种基于 transformer 网络的深度分解模块、一个迭代的相机位置残差估计模块和一个直接进行坐标卷积编码的坐标引导策略，从而提高了自监督单目深度估计方法在室内环境中的性能。

    Jul, 2022