基于代价体金字塔的多视角立体深度推理
提出一种高效的多视角立体(MVS)网络以实现多视角图像的三维重建和深度推断,其采用策略推断出粗到细的深度图,其中引入自注意力层与相似度测量来生成新的代价体以进行深度图细化,最终实验表明该模型优于大多数 SOTA 方法。
Nov, 2020
通过非参数深度分布建模构建成本体积,避免错误检测。同时,我们使用稀疏成本聚合网络推导每个体积中的信息。在 DTU 和坦克与神殿这两个基准数据集上广泛评估我们的方法,实验结果表明,我们的模型以显着优势胜过现有方法,并在边界区域实现卓越性能。
May, 2022
本文提出了一种既节省时间又节省内存的立体成像方法,该方法在几何和语境的渐进细化尺度中构建标准的特征金字塔下的代价体,随着不断增加的代价体分辨率以及深度(或差异)间隙的自适应调整,以较粗糙的方式从粗到细恢复输出。
Dec, 2019
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
Apr, 2018
3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法,使用基于体积的三维卷积神经网络来对所有深度图进行操作,并能够学习有意义的场景级先验知识,其在深度预测和 3D 重建度量上均超越了现有技术,证明该方法在新的环境下具有很好的效果和通用性。
Dec, 2021
本研究提出了一种用于减少计算负担和对大规模景观适用的轻量级花费体积平均群组相似性度量以及基于此有效的花费体积表示的级联 3D U-Net 模块,并将多视角深度推断重新转换为反深度回归任务,旨在提升深度推断的可扩展性和准确性,在 DTU 数据集和 Tanks and Temples 数据集上实现了方差的估计和最优性能的状态。
Dec, 2019
Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络,通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中,实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。
Aug, 2019
本文提出 DS-MVSNet,一种端到端的无监督多视点结构,并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时,我们利用源深度来渲染参考图像,并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后,通过在 DTU 数据集和 Tanks&Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。
Aug, 2022
本论文提出了一种基于 RayMVSNet 的多视角深度学习,通过直接优化沿每个摄像头光线的深度值来降低了计算和存储的成本,其处理基于转换器特征进行的串行建模是传统多视角立体匹配的重要方法,并且在 DTU 和 Tanks & Temples 数据集上的评估结果表明其优于之前所有的学习方法。
Apr, 2022
本文提出 MVDepthNet,在多视图深度估计中编码多视图观察信息,并结合参考图像使用编码器 - 解码器网络生成深度图,并在单目密集映射系统中应用,实现了高效准确的深度图生成。
Jul, 2018