Nov, 2023

双目光度立体摄影技术中的神经高度图方法

PDF
TL;DR提出了一种新颖、高度实用的双目光度立体（PS）框架，其采集速度与单视图 PS 相同，但显著改善了几何估计的质量。和最近的神经多视图形状估计方法（如 NeRF、SIREN 和多视图光度立体的反向图形方法）一样，我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异，以及渲染表面强度与观察图像之间的差异，学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先，我们的表面不是用体积表示，而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次，我们使用了学习的 BRDF 并进行了点接近场强度渲染，而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。
binocular photometric stereoneural multi-view shape estimationsurface representationbrdfperformance
发现论文，激发创造
  • NPLMV-PS：神经点光源多视角光度立体

    我们提出了一种新颖的多视图光度立体（PS）方法，利用神经形状表示和学习渲染器，显式利用像素强度渲染，模拟每个点的入射辐照度并使用全神经材质渲染器进行优化，同时通过估计法线和分割图最大化表面精度，达到在距离为 1.5m、分辨率 400x400 的情况下，超过经典方法 DiLiGenT-MV 的平均 0.2mm 的沙耶缝距离，对低光计数场景的异常法线具有鲁棒性，使用像素渲染距离仅为 0.27mm。

    May, 2024

  • 基于 CNN 的近场光度立体问题方法

    该研究提出了一种 CNN 基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态 - of-the-art 方法更好的实验效果。

    Sep, 2020

  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021

  • PS-NeRF：基于神经网络的多视图光度立体反演

    本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

    Jul, 2022

  • 通用表面光度立体摄影的非校准神经反渲染

    本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架，通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度，同时显式模拟图像形成过程中的凹凸面部分的互反射效应，结果表明该方法在挑战性主题上表现优于监督和经典方法。

    Dec, 2020

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 稀疏视角，近光源：非标定点照明光度立体的实用范式

    通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。

    Mar, 2024

  • DeepPS2：使用两个不同光照图像重新审视光度立体成像

    本文通过使用两个不同照明下的图像，提出了一种新的基于逆渲染的深度学习框架 DeepPS2 来解决 photometric stereo 中的一个中间问题，即 PS2 问题，可以自主完成表面法线、表面反照率、光照估计和图像 relighting 等任务。

    Jul, 2022

  • RNb-NeuS：基于反射和法线的多视角 3D 重建

    介绍了一种用于集成多视角反射和法线映射的通用范例。它使用像素级联合参数化反射和法线，将它们视为在模拟的不同光照下渲染的辐射矢量。该方法在神经体渲染的基于 3D 重建中，实现了反射和法线映射的无缝集成，同时保留单一的优化目标，从而优于最先进的 MVPS 方法，特别是在高曲率或低可见性区域的详细 3D 重建方面。

    Dec, 2023

  • CNN-PS: 基于卷积神经网络的非凸面光度立体恢复

    本文介绍了一种光度立体网络，该网络直接学习光度立体输入和场景表面法线之间的关系，通过合并所有输入数据到观察映射中，进一步处理无序的任意数量的输入图像，提高旋转伪不变性等训练和预测效果，通过基于物理的渲染器生成的综合光度立体数据集进行训练，能更好地解决非凸表面下的场景光照估计问题。

    Aug, 2018