AAAIDec, 2019

基于相关代价体积的多视角立体反演深度回归学习

PDF
TL;DR本研究提出了一种用于减少计算负担和对大规模景观适用的轻量级花费体积平均群组相似性度量以及基于此有效的花费体积表示的级联 3D U-Net 模块，并将多视角深度推断重新转换为反深度回归任务，旨在提升深度推断的可扩展性和准确性，在 DTU 数据集和 Tanks and Temples 数据集上实现了方差的估计和最优性能的状态。
deep learningmulti-view stereocost volumeinverse depth regressionscalability
发现论文，激发创造
  • 高分辨率多视角立体匹配的级联代价体

    本文提出了一种既节省时间又节省内存的立体成像方法，该方法在几何和语境的渐进细化尺度中构建标准的特征金字塔下的代价体，随着不断增加的代价体分辨率以及深度（或差异）间隙的自适应调整，以较粗糙的方式从粗到细恢复输出。

    Dec, 2019

  • 基于代价体金字塔的多视角立体深度推理

    本文提出了一种基于成本体积的神经网络，可以从多视图图像中进行深度推断，在构建成本体积金字塔的过程中，通过从粗到细的方式代替固定分辨率的方式，使得网络结构更紧凑轻量，并允许我们推断高分辨率深度图以获得更好的重建结果。

    Dec, 2019

  • 基于注意力感知的代价体积金字塔的多视角立体网络用于三维重建

    提出一种高效的多视角立体（MVS）网络以实现多视角图像的三维重建和深度推断，其采用策略推断出粗到细的深度图，其中引入自注意力层与相似度测量来生成新的代价体以进行深度图细化，最终实验表明该模型优于大多数 SOTA 方法。

    Nov, 2020

  • 组相关立体网络

    本文提出了使用分组相关来构建成本体积，并改进了三维堆叠沙漏网络，以用于立体匹配的深度感知，通过实验证明在 Scene Flow、KITI 2012 和 KITTI 2015 数据集上，该方法优于之前的方法。

    Mar, 2019

  • 多视角立体视觉深度估计的反思：一种统一的表示方法

    本文提出了一种新的深度图表示方式 ——Unification，将回归和分类学习的优势结合在一起，在设计了新的统一 Focal Loss 的基础上，构建了一个粗到细的 Coarse-to-fine framework，称为 UniMVSNet，实现了最好的深度估计效果和最佳的泛化能力。

    Jan, 2022

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • RIAV-MVS: 基于循环索引的非对称体积多视角立体重建

    本文提出了一种基于学习的方法，通过迭代索引平面扫描成本体积并借助卷积门控循环单元来回归深度图，从而进行多视角深度估计。经过对真实世界多视图数据集的大量实验，验证了该方法在数据集内部性能和跨数据集概括性能方面都达到了最先进水平。

    May, 2022

  • 高分辨率多视角立体深度推测的循环 MVSNet

    本研究提出基于递归神经网络的可扩展多视图立体（MVS）网络，通过递归因子单元（GRU）减少内存消耗，实现对高分辨率场景的高效重建。实验结果显示该方法在最近的 MVS 基准上取得了最先进的性能并在多个大规模场景上显示了伸缩性。

    Feb, 2019

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022

  • 3DVNet: 多视角深度预测和体积细化

    3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

    Dec, 2021