深入研究普通公司立体匹配
本文研究如何利用法线估计模型和预测的法线图提高深度质量,方法包括联合学习多视角法线估计和深度估计模块以及提出一种新的一致性损失来训练一个独立的一致性模块来细化深度 / 法线对。实验结果表明,该方法具有高精度、平滑等优点,在多个数据集上的表现均优于现有技术。
Nov, 2019
基于物理驱动的深度学习框架用于单目深度估计,通过假设 3D 场景由分段平面组成,提出了一种新的正常 - 距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法,值得注意的是,它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023
本文提出了一种新颖的深度细化框架,旨在恢复逆深度图的分段平面特征,该框架将逆深度图建模为像素之间的加权图,设计了一种自动估计每个像素平面的正则化项,经过实验证明,该方法在视觉和数值上均相对于 Middlebury、KITTI 和 ETH3D 多视角立体数据集上的最先进算法有重大改进。
Dec, 2019
本文介绍了一个 DP Depth/Normal 网络,通过收集超过 135K 张 DP 面部数据实现了 3D 面部几何重建,该网络具有自适应采样模块和自适应法线模块,可处理 DP 图像中的虚焦模糊区域,并实现了是取得最新的 DP-based 深度 / 法线估计方法的最优表现,同时也展示了该面部深度 / 法线估计在面部欺骗和光照方面的应用。
Nov, 2021
本文提出了一种基于学习的方法来去噪和优化所给定的立体方法的视差图。该方法通过资源一个由联合视差、颜色和置信度图像空间中的变分能量定义的近端梯度方法的迭代来自然生成。我们的方法允许学习鲁棒的协作正则化器,利用颜色图像、置信度图和视差图的联合统计信息。由于我们的方法是变分结构的,因此可以轻松可视化单个步骤,从而实现可解释性。因此,我们可以提供如何优化和去噪视差图的有趣见解。我们的方法的效率得到了公开可用的 Middlebury 2014 和 Kitti 2015 立体基准测试的证明。
Jul, 2019
本论文提出了一种基于卷积神经网络的方法,能够从立体输入中学习计算密集的视差图,使用图像变形误差作为损失函数,无需地面真实的视差图。该方法经过在 KITTI 和 Middlebury 立体基准数据集上的实验,证明优于许多现有技术并且速度更快。
Sep, 2017
提出了一种基于学习的多帧深度估计方法,通过引入组合法线图约束和遮挡感知策略,能更好地保留室内场景中的高曲率特征和全局平面区域,并优于其他算法在深度估计精度和保存几何特征方面的表现。
Apr, 2020
通过假设 3D 场景由分段平面组成,本文提出了针对单目深度估计和补全任务的新型物理(几何)推动深度学习框架。我们通过估计表面法线和平面到原点的距离图或补全稀疏表面法线和距离图作为中间输出,提出了一个法线 - 距离模块。同时,通过开发出平面感知一致性约束来规范化表面法线和距离图,并将其转换为深度图。此外,还集成了一个额外的深度模块来增强所提出框架的鲁棒性。在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上的大量实验表明,我们的方法在单目深度估计和补全任务方面胜过了先前的最先进竞争方法。
Nov, 2023
通过使用一阶微分特性 (即,表面法线),本文展示了训练神经表示形成高准确度的 3D 表面重建,即使只有两个 RGB 视图可用,极大地改善了以前难以捕捉的复杂几何细节和薄结构。
Jun, 2024
本论文提出了一种基于 RGB-D 图像的表面法向估计的分层融合网络和自适应特征再加权,设计了混合多尺度损失函数来学习准确的法向估计,实验证明了该方法在场景理解中的有效性。
Apr, 2019