Jun, 2023

朝着零样本比例感知单目深度估计的方向

PDF
TL;DR本文提出了一种称为 ZeroDepth 的单目深度估计框架，采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果，优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。
monocular depth estimationscale supervisionrelative depthinput-level geometric embeddingsvariational latent representation
发现论文，激发创造
  • Metric3D：基于单张图片的零样本度量三维预测

    基于大规模数据训练和解决来自不同摄像机模型的度量歧义，实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型，并在 7 个零样本基准测试上展现了领先表现。

    Jul, 2023

  • ZoeDepth：相对深度和绝对深度结合的零样本迁移

    本文提出了一种通过单张图像进行深度估计的方法，该方法结合了相对深度估计和度量深度估计，使用轻量化头部并在每个域中使用度量桶调整设计的新颖二进制分类器，在多个数据集上进行联合训练，并实现前所未有的零 - shot 推断表现。

    Feb, 2023

  • 从视频中无监督学习尺度一致的深度

    本文提出了一种单目深度估计器 SC-Depth，它只需要使用未标记的视频进行训练，并能在推理时实现尺度一致的预测。我们的贡献包括：(i) 我们提出了一种几何一致性损失，惩罚相邻视角之间预测深度的不一致性；(ii) 我们提出了自动定位违反基本静态场景假设并在训练过程中引起噪声信号的移动对象的自我发现掩码；(iii) 我们通过详细的消融研究证明了每个组件的功效，并展示了在 KITTI 和 NYUv2 数据集中高质量的深度估计结果。此外，由于具有尺度一致性预测的能力，我们展示了我们训练的单目深层网络可以轻松地集成到 ORB-SLAM2 系统中以实现更强大和准确的跟踪。提出的混合 Pseudo-RGBD SLAM 在 KITTI 中具有很强的性能，并且在没有额外训练的情况下很好地推广到 KAIST 数据集。最后，我们提供了几个演示以进行定性评估。

    May, 2021

  • UniDepth: 通用单目度量深度估计

    通过提出的 UniDepth 模型，我们能够从单个图像中重建度量 3D 场景，并实现相机驱动的深度特征的不变性。

    Mar, 2024

  • MonoIndoor++: 自我监督单目深度估计在室内环境中的更好实践

    提出了一种基于 transformer 网络的深度分解模块、一个迭代的相机位置残差估计模块和一个直接进行坐标卷积编码的坐标引导策略，从而提高了自监督单目深度估计方法在室内环境中的性能。

    Jul, 2022

  • 零射线距离，并行带鉴别力模型的视场条件扩散

    使用一种通用的、无任务依赖的扩散模型，采用对数尺度深度参数化来联合建模室内和室外场景，通过视野的条件处理尺度模糊，通过训练中合成视野的方法来推广到训练数据中较有限的相机内参，通过使用更多样化的训练混合和有效的扩散参数化，我们的方法 DMD（Diffusion for Metric Depth）相对误差（REL）在零样本室内数据集上减少 25%，在零样本室外数据集上减少 33%，只使用了少量去噪步骤。

    Dec, 2023

  • RA-Depth: 分辨率自适应自监督单目深度估计

    本研究提出了一种分辨率自适应的自监督单目深度估计方法，通过数据增强和多路径编码器解码器等方法提高特征融合精度，进而在 KITTI，Make3D 和 NYU-V2 等数据集上取得了具有竞争力的结果。

    Jul, 2022

  • FS - 深度：从一幅未见室内场景的单幅图像中估计焦点和尺度深度

    我们开发了一种焦距和比例尺深度估计模型，能够从单个图像中准确学习未见过的室内场景的绝对深度图。我们通过采用相对深度估计网络学习相对深度和多尺度特征，并将它们与绝对深度估计网络一起输入，从而显著提高了深度估计的泛化能力，在三个未见过的数据集上比起其他五个最先进的深度估计模型，我们的模型将波动率均方根误差 (RMSE) 降低了 41%/13%，并且有效缓解了三维重建中的变形问题，同时也能保持对原始数据集的深度估计准确性。

    Jul, 2023

  • WorDepth: 变分语言先验对单目深度估计的应用

    使用单个图像进行三维重建存在困难，使用单个图像与文本描述相结合可以提高度量标度重建性能。

    Apr, 2024

  • NDDepth：正态 - 距离辅助单目深度估计

    基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

    Sep, 2023