Oct, 2020

BP-MVSNet: 多视角立体的置信传播层模型

PDF
TL;DR本研究中提出了一种基于卷积神经网络的多视图立体（MVS）方法 BP-MVSNet，该方法使用一个可微条件随机场（CRF）层进行规范化，其能够在不同的尺度情况下得到高质量的深度地图。该方法经过 ablation study 和多组实验数据的测试，优于基线方法并实现了最新的技术水平。
bp-mvsnetconvolutional neural networkmulti-view-stereoconditional random fielddepth maps
发现论文，激发创造
  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • 基于点的多视角立体网络

    Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

    Aug, 2019

  • 高分辨率多视角立体深度推测的循环 MVSNet

    本研究提出基于递归神经网络的可扩展多视图立体（MVS）网络，通过递归因子单元（GRU）减少内存消耗，实现对高分辨率场景的高效重建。实验结果显示该方法在最近的 MVS 基准上取得了最先进的性能并在多个大规模场景上显示了伸缩性。

    Feb, 2019

  • DeepC-MVS: 多视图立体重建的深度置信度预测

    本文提出了一个流程，利用深度神经网络提高三维重建的质量，同时能够处理大型和高分辨率的图像数据集，具体包括针对多视角立体视觉（Multi-View Stereo）设计的置信度预测网络，用于深度地图 outlier 过滤和深度地图细化，从而提高最终三维重建的质量。通过在流行的基准数据集上进行广泛的实验，我们展示了这个流程的优越性，产生了最先进的三维重建质量和效果。

    Dec, 2019

  • RayMVSNet: 基于光线的 1D 隐式场学习用于精确的多视图立体匹配

    本论文提出了一种基于 RayMVSNet 的多视角深度学习，通过直接优化沿每个摄像头光线的深度值来降低了计算和存储的成本，其处理基于转换器特征进行的串行建模是传统多视角立体匹配的重要方法，并且在 DTU 和 Tanks & Temples 数据集上的评估结果表明其优于之前所有的学习方法。

    Apr, 2022

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • RayMVSNet++：基于光线的一维隐式场用于精准多视角立体重建

    基于学习的多视角立体摄影 (MVS) 主要集中在 3D 卷积在成本体积上，本文中，我们选择直接优化每个相机光线上的深度值，通过模拟激光扫描仪的测距，从而减轻计算和内存消耗。我们提出了 RayMVSNet，在每个相机光线上学习 1D 隐式场的顺序预测，通过零交叉点指示场景深度。此顺序建模基于 transformer 功能，本质上学习了传统多视图立体摄影中的极线搜索。在 DTU 和 Tanks & Temples 数据集上，我们的方法在所有以前的基于学习的方法中排名前列，在 DTU 上实现了 0.33mm 的整体重建得分，在 Tanks & Temples 上实现了 59.48% 的 F-score。我们的方法能够在具有无纹理表面、严重遮挡和深度变化范围大等挑战性场景中产生高质量的深度估计和点云重构。此外，我们提出了 RayMVSNet++，通过设计一个注重关注的门控单元，在每个光线周围的局部截锥体内选择语义相关的相邻光线，以增强每个光线的语境特征聚合。RayMVSNet++ 在 ScanNet 数据集上实现了最先进的性能，特别是在无纹理区域和大深度变化的两个子集上产生准确的结果。

    Jul, 2023

  • 高效多视图立体通用二分查找网络

    本文提出了一种高效的多视图立体重建方法，基于深度学习和二分搜索算法，大大降低了所需内存，同时取得了领先的精度。

    Dec, 2021

  • 3DVNet: 多视角深度预测和体积细化

    3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

    Dec, 2021

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022