May, 2023

MVPSNet：快速通用的多视角光度立体

PDF
TL;DR我们提出了一个快速且通用的解决多视图光度立体 (MVPS) 问题的方法，称为 MVPSNet。我们的方法通过一个特征提取网络有效地结合同一视图下不同光照条件下的图像，从阴影线索中提取几何特征用于立体匹配。我们通过介绍一种新的人工合成数据集 sMVPS 来训练我们的方法，并展示了在纹理缺失区域中提取特征的有效性。结果表明，我们的方法的重建结果与一个最先进的 MVPS 方法 PS-NeRF 相似，但推理速度快 411 倍（105 秒与 12 小时），具有一般化的可训练能力。
multi-view photometric stereomvpsnetlight aggregated feature mapstextureless regionssmvps
发现论文，激发创造
  • PS-NeRF：基于神经网络的多视图光度立体反演

    本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

    Jul, 2022

  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021

  • 基于不确定性感知的深度多视角光度立体

    本文提出一种有效的解决方案，利用光度立体测量和多视角立体测量的互补优势，通过基于不确定性感知的深光度立体网络和深多视角立体网络估计每像素表面法线和深度，从而实现密集、详细和精确的物体表面轮廓重建。

    Feb, 2022

  • NPLMV-PS：神经点光源多视角光度立体

    我们提出了一种新颖的多视图光度立体（PS）方法，利用神经形状表示和学习渲染器，显式利用像素强度渲染，模拟每个点的入射辐照度并使用全神经材质渲染器进行优化，同时通过估计法线和分割图最大化表面精度，达到在距离为 1.5m、分辨率 400x400 的情况下，超过经典方法 DiLiGenT-MV 的平均 0.2mm 的沙耶缝距离，对低光计数场景的异常法线具有鲁棒性，使用像素渲染距离仅为 0.27mm。

    May, 2024

  • 基于点的多视角立体网络

    Point-MVSNet 是用 point clouds 直接处理目标场景的深度学习网络，通过将 3D 几何先验和 2D 纹理信息融入特征增强的 point cloud 中，实现了在 multi-view stereo 中更高的精度、更高的计算效率和更大的灵活性。

    Aug, 2019

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • 通过强健的光度一致性学习无监督的多视图立体成像

    提出了一种基于学习的多视点立体感知方法，可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练，并且可以通过无监督的微调实现对新数据集的适应。

    May, 2019

  • M^3VSNet: 无监督多指标多视角立体网络

    本文提出了一种名为 M^3VSNet 的新型无监督多指标 MVS 网络，用于稠密点云重建，该网络通过结合像素和特征损失函数来学习来自不同视角的匹配对应的内在约束，并将深度图从相机空间转化为点云，并改善了深度图的精准性和连续性，该方法在 DTU 数据集上表现出了与以往有监督方法可比较的性能，并在坦克和寺庙基准测试中证明了其强大的泛化能力。

    Apr, 2020

  • M^3VSNet: 无监督多度量多视角立体网络

    提出了一种采用多指标无监督方法的多视点立体匹配网络，名为 M^3VSNet，用于稠密点云重建，结合像素级和特征级两种损失函数学习从不同角度的匹配对应的内在约束，并将法向深度一致性融入到三维点云格式中，从而提高深度估计图的准确性、连续性和鲁棒性。实验结果表明，该方法在 DTU 数据集上达到了有监督方法的水平，并在 Tanks and Temples 基准上获得了有效的改进和强大的泛化能力。

    Apr, 2020