ScaleDepth:将度量深度估计分解为尺度预测和相对深度估计
该论文提出了一种基于多尺度结构的单目深度估计方法,即结构感知残差金字塔网络(SARPN)。在该网络中,采用残差金字塔解码器来表达全局场景结构和局部形态细节,以及残差细化模块来预测残差图,同时采取自适应稠密特征融合模块来利用来自所有尺度的有效特征。实验结果表明,该方法在NYU-深度v2数据集上高效实用,达到了最先进的性能。
Jul, 2019
提出了一种基于像素平面性先验的单目深度估计方法,并使用具有两个输出头的卷积神经网络来学习并由此实现端到端的训练,以预测尖锐边缘和具有合理3D重建的深度图,将其在NYU Depth-v2和KITTI的Garg数据集上的实验结果击败了以前的方法并创造了最新的技术成果。
Apr, 2022
本文提出了一种通过单张图像进行深度估计的方法,该方法结合了相对深度估计和度量深度估计,使用轻量化头部并在每个域中使用度量桶调整设计的新颖二进制分类器,在多个数据集上进行联合训练,并实现前所未有的零-shot推断表现。
Feb, 2023
本文提出了一种称为ZeroDepth的单目深度估计框架,采用输入级几何嵌入和变分潜在表示,并将编码器和解码器阶段解耦合,可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内(NYUv2)和户外(KITTI,DDAD,nuScenes)基准测试中,使用相同的预训练模型取得了最新的最佳成果,优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。
Jun, 2023
我们开发了一种焦距和比例尺深度估计模型,能够从单个图像中准确学习未见过的室内场景的绝对深度图。我们通过采用相对深度估计网络学习相对深度和多尺度特征,并将它们与绝对深度估计网络一起输入,从而显著提高了深度估计的泛化能力,在三个未见过的数据集上比起其他五个最先进的深度估计模型,我们的模型将波动率均方根误差(RMSE)降低了41%/13%,并且有效缓解了三维重建中的变形问题,同时也能保持对原始数据集的深度估计准确性。
Jul, 2023
基于物理驱动的深度学习框架用于单目深度估计,通过假设3D场景由分段平面组成,提出了一种新的正常-距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在NYU-Depth-v2、KITTI和SUN RGB-D数据集上超过了现有的最先进竞争方法,值得注意的是,它在KITTI深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023
通过假设3D场景由分段平面组成,本文提出了针对单目深度估计和补全任务的新型物理(几何)推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出,提出了一个法线-距离模块。同时,通过开发出平面感知一致性约束来规范化表面法线和距离图,并将其转换为深度图。此外,还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在NYU-Depth-v2、KITTI和SUN RGB-D数据集上的大量实验表明,我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。
Nov, 2023
使用一种通用的、无任务依赖的扩散模型,采用对数尺度深度参数化来联合建模室内和室外场景,通过视野的条件处理尺度模糊,通过训练中合成视野的方法来推广到训练数据中较有限的相机内参,通过使用更多样化的训练混合和有效的扩散参数化,我们的方法 DMD(Diffusion for Metric Depth)相对误差(REL)在零样本室内数据集上减少25%,在零样本室外数据集上减少33%,只使用了少量去噪步骤。
Dec, 2023
SM4Depth是一种无缝的单目度量深度估计方法,通过处理视场角度、离散深度间隔和解空间的多个子空间来解决摄像机、场景和数据水平上的挑战,且在大量训练数据不足的情况下表现出最先进的性能。
Mar, 2024
通过自我监督方法同时从多个相机视角学习,全方位单目深度(FSM)方法能够更实用地预测相对尺度感知的深度,本论文致力于提高FSM方法对尺度感知的改进,从深度网络结构优化和训练流程优化两个方面进行改进,结果表明,所提出的SA-FSM方法在未经中位缩放的测试环境下较大地提高了尺度感知深度的预测准确性,并在DDAD基准测试中以超过SurroundDepth 3.8%的准确度胜过其他最先进的FSM方法。
Jul, 2024