CVPRFeb, 2022

基于不确定性感知的深度多视角光度立体

PDF
TL;DR本文提出一种有效的解决方案，利用光度立体测量和多视角立体测量的互补优势，通过基于不确定性感知的深光度立体网络和深多视角立体网络估计每像素表面法线和深度，从而实现密集、详细和精确的物体表面轮廓重建。
photometric stereomulti-view stereoper-pixel uncertaintyneural shape representationdense surface reconstruction
发现论文，激发创造
  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021

  • MVS^2: 多视图对称深度无监督多视图立体成像

    本文介绍了一种基于无监督学习的多视图深度图像学习方法，可以从多个视角的输入图像中学习深度和遮挡图像，并在训练和测试阶段都强制实施多视图深度一致性，进而为实际场景下处理遮挡提供更好的鲁棒性。

    Aug, 2019

  • 自监督多视角立体匹配中的不确定性探究

    提出了一种新的 UMVS 框架，通过估计自监督 MVS 中的认知不确定性来处理前景中的不确定监督和背景中的无效监督信号，并在 DTU 和 Tank＆Temples 基准测试中获得了最佳性能。

    Aug, 2021

  • 可见性感知多视角立体网络

    本文基于学习的多视角立体 (MVS) 方法，采用匹配不确定性估计，将像素级遮挡信息显式地推理和集成到 MVS 网络中，从而抑制像素遮挡对成本聚合的不利影响，提高了 Vis-MVSNet 算法在严重遮挡场景中的深度精度。在 DTU、BlendedMVS 和 Tanks and Temples 数据集上进行了广泛实验证明了所提出算法的有效性。

    Aug, 2020

  • 基于置信度的深度和表面法向迭代求解器用于深度多视角立体视觉

    介绍了一种基于深度学习的多视角立体匹配系统，采用一种新型求解器，通过优化基于本地平面假设的能量潜力，迭代地求解每个视角的深度图和法向量图，并监测由定制的置信度地图产生的效果。

    Jan, 2022

  • 基于深度合成的无监督多视角立体匹配网络 DS-MVSNet

    本文提出 DS-MVSNet，一种端到端的无监督多视点结构，并通过 Adaptive Gaussian Sampling 和 Improved Adaptive Bins Sampling 等方法来提高深度假设的准确性。同时，我们利用源深度来渲染参考图像，并提出了深度一致性损失和深度平滑性损失来提供额外的指导。最后，通过在 DTU 数据集和 Tanks＆Temples 数据集上的一系列实验证明了我们的方法相对于现有方法的效率和稳健性。

    Aug, 2022

  • 多视角立体表示重新审视：区域感知的 MVSNet

    本研究使用深度学习等技术，提出了一个基于点到表面距离的补丁感知（patch-awared）多视角立体重建（multi-view stereo）方法，能够更好地重建纹理缺失区域和表面边界，并且经过实验证明，在 DTU 和 Tanks & Temples 数据集上达到了最佳重建效果。

    Apr, 2023

  • MVPSNet：快速通用的多视角光度立体

    我们提出了一个快速且通用的解决多视图光度立体 (MVPS) 问题的方法，称为 MVPSNet。我们的方法通过一个特征提取网络有效地结合同一视图下不同光照条件下的图像，从阴影线索中提取几何特征用于立体匹配。我们通过介绍一种新的人工合成数据集 sMVPS 来训练我们的方法，并展示了在纹理缺失区域中提取特征的有效性。结果表明，我们的方法的重建结果与一个最先进的 MVPS 方法 PS-NeRF 相似，但推理速度快 411 倍（105 秒与 12 小时），具有一般化的可训练能力。

    May, 2023

  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • PS-NeRF：基于神经网络的多视图光度立体反演

    本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

    Jul, 2022