RayMVSNet: 基于光线的 1D 隐式场学习用于精确的多视图立体匹配

CVPRApr, 2022

RayMVSNet: 基于光线的 1D 隐式场学习用于精确的多视图立体匹配

RayMVSNet: Learning Ray-based 1D Implicit Fields for Accurate Multi-View Stereo

Junhua Xi, Yifei Shi, Yijie Wang, Yulan Guo, Kai Xu

TL;DR本论文提出了一种基于 RayMVSNet 的多视角深度学习，通过直接优化沿每个摄像头光线的深度值来降低了计算和存储的成本，其处理基于转换器特征进行的串行建模是传统多视角立体匹配的重要方法，并且在 DTU 和 Tanks & Temples 数据集上的评估结果表明其优于之前所有的学习方法。

Abstract

Learning-based multi-view stereo (MVS) has by far centered around 3D convolution on cost volumes. Due to the high computation and memory consumption of 3D CNN, the resolution of output depth is often considerably limited. Different from most existing works dedicated to adaptive refinem

multi-view stereo 3d convolution depth optimization raymvsnet transformer features

发现论文，激发创造

RayMVSNet++：基于光线的一维隐式场用于精准多视角立体重建

基于学习的多视角立体摄影 (MVS) 主要集中在 3D 卷积在成本体积上，本文中，我们选择直接优化每个相机光线上的深度值，通过模拟激光扫描仪的测距，从而减轻计算和内存消耗。我们提出了 RayMVSNet，在每个相机光线上学习 1D 隐式场的顺序预测，通过零交叉点指示场景深度。此顺序建模基于 transformer 功能，本质上学习了传统多视图立体摄影中的极线搜索。在 DTU 和 Tanks & Temples 数据集上，我们的方法在所有以前的基于学习的方法中排名前列，在 DTU 上实现了 0.33mm 的整体重建得分，在 Tanks & Temples 上实现了 59.48% 的 F-score。我们的方法能够在具有无纹理表面、严重遮挡和深度变化范围大等挑战性场景中产生高质量的深度估计和点云重构。此外，我们提出了 RayMVSNet++，通过设计一个注重关注的门控单元，在每个光线周围的局部截锥体内选择语义相关的相邻光线，以增强每个光线的语境特征聚合。RayMVSNet++ 在 ScanNet 数据集上实现了最先进的性能，特别是在无纹理区域和大深度变化的两个子集上产生准确的结果。

Jul, 2023

3DVNet: 多视角深度预测和体积细化

3DVNet 是一种结合了先前基于深度和体积的 MVS 方法优点的新型多视图立体 (multi-view stereo) 深度预测方法，使用基于体积的三维卷积神经网络来对所有深度图进行操作，并能够学习有意义的场景级先验知识，其在深度预测和 3D 重建度量上均超越了现有技术，证明该方法在新的环境下具有很好的效果和通用性。

Dec, 2021

MVSNet: 不规则多视图立体的深度推断

本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入，其表现优于现有同类方法并能很好地泛化于室内室外数据。

Apr, 2018

基于点的多视角立体网络

Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

Aug, 2019

DeepMVS: 学习多视角立体视觉

DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

Apr, 2018

多视角立体表示重新审视：区域感知的 MVSNet

本研究使用深度学习等技术，提出了一个基于点到表面距离的补丁感知（patch-awared）多视角立体重建（multi-view stereo）方法，能够更好地重建纹理缺失区域和表面边界，并且经过实验证明，在 DTU 和 Tanks & Temples 数据集上达到了最佳重建效果。

Apr, 2023

高分辨率多视角立体深度推测的循环 MVSNet

本研究提出基于递归神经网络的可扩展多视图立体（MVS）网络，通过递归因子单元（GRU）减少内存消耗，实现对高分辨率场景的高效重建。实验结果显示该方法在最近的 MVS 基准上取得了最先进的性能并在多个大规模场景上显示了伸缩性。

Feb, 2019

基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

Aug, 2022

高效多视图立体通用二分查找网络

本文提出了一种高效的多视图立体重建方法，基于深度学习和二分搜索算法，大大降低了所需内存，同时取得了领先的精度。

Dec, 2021

DELTAS: 通过学习三角化和稀疏点的密集化进行深度估计

该研究提出了一种基于 interest point detection 和 descriptor learning 的深度估计方法，通过三个步骤，匹配、三角测量和稠密化得到 3D 点云，实现了高精度和低计算消耗的双赢，将该方法与强基线进行对比，表现优越。

Mar, 2020