UniDepth: 通用单目度量深度估计
SM4Depth 是一种无缝的单目度量深度估计方法,通过处理视场角度、离散深度间隔和解空间的多个子空间来解决摄像机、场景和数据水平上的挑战,且在大量训练数据不足的情况下表现出最先进的性能。
Mar, 2024
本文提出了一种称为 ZeroDepth 的单目深度估计框架,采用输入级几何嵌入和变分潜在表示,并将编码器和解码器阶段解耦合,可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内(NYUv2)和户外(KITTI,DDAD,nuScenes)基准测试中,使用相同的预训练模型取得了最新的最佳成果,优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。
Jun, 2023
基于大规模数据训练和解决来自不同摄像机模型的度量歧义,实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型,并在 7 个零样本基准测试上展现了领先表现。
Jul, 2023
我们提出了 DeFeat-Net(深度和特征网络),一种同时学习跨领域密集特征表示和基于扭曲特征一致性的稳健深度估计框架的方法。通过同时学习特征、深度和运动,我们的技术能够推广到具有挑战性的领域,并能够在更具挑战性的序列中优于当前最先进技术约 10%的所有误差度量。
Mar, 2020
评估新发布的 Depth Anything 模型在医疗内窥镜和腹腔镜场景的零样本性能,与在一般场景训练的其他单目深度估计模型以及在内窥镜数据上训练的领域内模型的准确性和推理速度进行比较。发现虽然 Depth Anything 的零样本能力相当令人印象深刻,但在速度和性能方面并不一定优于其他模型。希望本研究能引发在医学场景中应用基础模型进行单目深度估计的进一步研究。
Jan, 2024
本文提供了一种使用单目图像进行深度估计的方法,提供了一个大规模且多样化的数据集 Diverse Scene Depth 进行训练,学习到了不受仿射变换影响的深度信息,并通过多分支课程训练实现了对复杂场景的高质量深度恢复。
Feb, 2020
本研究提出了适合评估单目深度预测方法三维几何质量的一组度量标准和室内基准测试 RIO-D3D,并展示了其对于评估三维场景完整性的紧密关联任务的帮助。
Mar, 2022
该研究论文提出了一种新颖的自监督双帧多摄像头度量深度估计网络 (M^2Depth),旨在预测自动驾驶中可靠的具有尺度感知的周围深度。与以往使用单个时间步的多视图图像或单个相机的多个时间步图像不同,M^2Depth 采用多个相机的时间相邻的两帧图像作为输入,并生成高质量的周围深度。我们首先在空间和时间域中构造成本体积,并提出一个融合空间 - 时间信息的模块来生成强大的体积表示。我们还将 SAM 特征的神经先验与内部特征相结合,以减少前景和背景之间的模糊性并加强深度边缘。在 nuScenes 和 DDAD 基准测试上的大量实验证明,M^2Depth 实现了最先进的性能。更多结果可以在此 https URL 中找到。
May, 2024
基于物理驱动的深度学习框架用于单目深度估计,通过假设 3D 场景由分段平面组成,提出了一种新的正常 - 距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法,值得注意的是,它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023