多视角立体表示重新审视:区域感知的 MVSNet
Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络,通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中,实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。
Aug, 2019
DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet),它可以对任意数量的姿态图像进行处理以预测高质量的视差图,其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。
Apr, 2018
本文提出 DS-MVSNet,一种端到端的无监督多视点结构,并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时,我们利用源深度来渲染参考图像,并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后,通过在 DTU 数据集和 Tanks&Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。
Aug, 2022
基于学习的多视角立体摄影 (MVS) 主要集中在 3D 卷积在成本体积上,本文中,我们选择直接优化每个相机光线上的深度值,通过模拟激光扫描仪的测距,从而减轻计算和内存消耗。我们提出了 RayMVSNet,在每个相机光线上学习 1D 隐式场的顺序预测,通过零交叉点指示场景深度。此顺序建模基于 transformer 功能,本质上学习了传统多视图立体摄影中的极线搜索。在 DTU 和 Tanks & Temples 数据集上,我们的方法在所有以前的基于学习的方法中排名前列,在 DTU 上实现了 0.33mm 的整体重建得分,在 Tanks & Temples 上实现了 59.48% 的 F-score。我们的方法能够在具有无纹理表面、严重遮挡和深度变化范围大等挑战性场景中产生高质量的深度估计和点云重构。此外,我们提出了 RayMVSNet++,通过设计一个注重关注的门控单元,在每个光线周围的局部截锥体内选择语义相关的相邻光线,以增强每个光线的语境特征聚合。RayMVSNet++ 在 ScanNet 数据集上实现了最先进的性能,特别是在无纹理区域和大深度变化的两个子集上产生准确的结果。
Jul, 2023
提出一种高效的多视角立体(MVS)网络以实现多视角图像的三维重建和深度推断,其采用策略推断出粗到细的深度图,其中引入自注意力层与相似度测量来生成新的代价体以进行深度图细化,最终实验表明该模型优于大多数 SOTA 方法。
Nov, 2020
本文提出一种有效的解决方案,利用光度立体测量和多视角立体测量的互补优势,通过基于不确定性感知的深光度立体网络和深多视角立体网络估计每像素表面法线和深度,从而实现密集、详细和精确的物体表面轮廓重建。
Feb, 2022
本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet),首先提取深度视觉图像特征,然后利用不同 iable homography 变形构建 3D 成本体积,并使用 3D 卷积对初始深度图进行规则化和回归,最终与参考图像相结合生成最终输出,其通过引入基于方差的成本度量来适应任意 N-view 输入, 其表现优于现有同类方法并能很好地泛化于室内室外数据。
Apr, 2018
本论文提出了一种基于 RayMVSNet 的多视角深度学习,通过直接优化沿每个摄像头光线的深度值来降低了计算和存储的成本,其处理基于转换器特征进行的串行建模是传统多视角立体匹配的重要方法,并且在 DTU 和 Tanks & Temples 数据集上的评估结果表明其优于之前所有的学习方法。
Apr, 2022
本研究提出基于递归神经网络的可扩展多视图立体(MVS)网络,通过递归因子单元(GRU)减少内存消耗,实现对高分辨率场景的高效重建。实验结果显示该方法在最近的 MVS 基准上取得了最先进的性能并在多个大规模场景上显示了伸缩性。
Feb, 2019