Metric3D v2: 用于零样本度量深度和表面法线估计的多功能单目几何基础模型

Mar, 2024

Metric3D v2: 用于零样本度量深度和表面法线估计的多功能单目几何基础模型

Metric3D v2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation

Mu Hu, Wei Yin, Chi Zhang, Zhipeng Cai, Xiaoxiao Long...

TL;DR通过提出一个几何基础模型 Metric3D v2 来实现从单张图像中进行零样本度量深度与表面法线估计，解决了度量 3D 恢复中的度量深度与表面法线估计方面的问题，并实现了对不同设置相机的图片的零样本泛化。

Abstract

We introduce metric3d v2, a geometric foundation model for zero-shot metric depth and surface normal estimation from a single image, which is crucial for metric 3D recovery. While depth and normal are geometrical

metric3d depth estimation surface normal estimation zero-shot generalization metric ambiguity

发现论文，激发创造

Metric3D：基于单张图片的零样本度量三维预测

基于大规模数据训练和解决来自不同摄像机模型的度量歧义，实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型，并在 7 个零样本基准测试上展现了领先表现。

Jul, 2023

虚拟正常：强制几何约束以获得精确稳健的深度预测

研究表明，设计一种损失函数，以强制执行由重构的三维空间中随机抽样的三个点确定的虚拟法线方向的简单几何约束，可以显著提高单目深度估计的准确性和鲁棒性，并提出了一种利用虚拟法线学习鲁棒的仿射不变深度的方法。

Mar, 2021

朝着零样本比例感知单目深度估计的方向

本文提出了一种称为 ZeroDepth 的单目深度估计框架，采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果，优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。

Jun, 2023

NDDepth：基于法线和距离辅助的单目深度估计和补全

通过假设 3D 场景由分段平面组成，本文提出了针对单目深度估计和补全任务的新型物理（几何）推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出，提出了一个法线 - 距离模块。同时，通过开发出平面感知一致性约束来规范化表面法线和距离图，并将其转换为深度图。此外，还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明，我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。

Nov, 2023

零射线距离，并行带鉴别力模型的视场条件扩散

使用一种通用的、无任务依赖的扩散模型，采用对数尺度深度参数化来联合建模室内和室外场景，通过视野的条件处理尺度模糊，通过训练中合成视野的方法来推广到训练数据中较有限的相机内参，通过使用更多样化的训练混合和有效的扩散参数化，我们的方法 DMD（Diffusion for Metric Depth）相对误差（REL）在零样本室内数据集上减少 25%，在零样本室外数据集上减少 33%，只使用了少量去噪步骤。

Dec, 2023

ZoeDepth：相对深度和绝对深度结合的零样本迁移

本文提出了一种通过单张图像进行深度估计的方法，该方法结合了相对深度估计和度量深度估计，使用轻量化头部并在每个域中使用度量桶调整设计的新颖二进制分类器，在多个数据集上进行联合训练，并实现前所未有的零 - shot 推断表现。

Feb, 2023

NDDepth：正态 - 距离辅助单目深度估计

基于物理驱动的深度学习框架用于单目深度估计，通过假设 3D 场景由分段平面组成，提出了一种新的正常 - 距离头来推导每个位置的深度，同时，通过开发的面感知一致性约束对正常和距离进行规范化，并引入了额外的深度头来改善框架的鲁棒性，利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进，实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法，值得注意的是，它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。

Sep, 2023

强制执行虚拟法线的几何约束以进行深度预测

本研究提出了一种基于高阶 3D 几何约束的深度预测模型，通过在重建的 3D 空间中随机采样三个点确定虚拟法向方向并设计相应的损失函数，能够显著提高深度预测的准确性，从而实现直接从深度图中恢复场景的 3D 结构（如点云和表面法向），进而消除了训练新子模型的必要性，并在 NYU Depth-V2 和 KITTI 等数据集上达到了最先进的性能水平。

Jul, 2019

UniDepth: 通用单目度量深度估计

通过提出的 UniDepth 模型，我们能够从单个图像中重建度量 3D 场景，并实现相机驱动的深度特征的不变性。

Mar, 2024

基于深度判别度量学习的单目三维物体检测

通过引入一种新的度量学习方案，我们的方法旨在提取具有深度区分特征的模型，而不增加推断时间和模型大小，通过使用距离保持函数来组织特征空间流形，将特征描述符之间的距离设置为与真实物体深度相关，并引入用于物体深度估计的辅助头部，以提高深度质量。此方法在 KITTI 和 Waymo 数据集上集成到各种基线模型中，实验证明了其广泛适用性，并且相对于基线模型，综合性能提高了 23.51% 和 5.78%。

Jan, 2024