Jul, 2020

非 Lambert 表面的深度光学立体成像

PDF
TL;DR本文介绍了一种深度学习方法，解决了光度立体的问题，在已知光照方向的情况下可以处理未知各向同性反射的表面，得出表面法线图；同时还提出了一种新的卷积网络方法以处理光照方向未知的情况。在多个数据集上经过充分的评估，该方法取得了更优秀的结果。
photometric stereodeep learningcalibrated scenariouncalibrated scenariosurface normal map
发现论文，激发创造
  • PS-FCN：一种灵活的光度立体学习框架

    本文提出了一个深度卷积网络 PS-FCN，用于快速前向传递预测一个物体的法线图，并可以解决非 Lambertian 表面的光度立体计算问题，可处理多个图像和光照方向，同时具有在校准和非校准场景下的高性能。

    Jul, 2018

  • 自校准深度光度立体网络

    本文提出了一种基于深度学习的非 Lambert 场景无标定光度立体方法，该方法相对于之前依赖于特定反射率和光源分布假设的方法，能够确定未知任意反射率下观察未知变化光照方向的场景的形状和光源方向，通过两阶段的深度学习架构 SDPS-Net 来实现。 对合成和实际数据集的实验表明，我们提出的方法明显优于先前的非标定光度立体方法。

    Mar, 2019

  • CNN-PS: 基于卷积神经网络的非凸面光度立体恢复

    本文介绍了一种光度立体网络，该网络直接学习光度立体输入和场景表面法线之间的关系，通过合并所有输入数据到观察映射中，进一步处理无序的任意数量的输入图像，提高旋转伪不变性等训练和预测效果，通过基于物理的渲染器生成的综合光度立体数据集进行训练，能更好地解决非凸表面下的场景光照估计问题。

    Aug, 2018

  • 通用表面光度立体摄影的非校准神经反渲染

    本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架，通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度，同时显式模拟图像形成过程中的凹凸面部分的互反射效应，结果表明该方法在挑战性主题上表现优于监督和经典方法。

    Dec, 2020

  • 基于 CNN 的近场光度立体问题方法

    该研究提出了一种 CNN 基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态 - of-the-art 方法更好的实验效果。

    Sep, 2020

  • 利用空间和光度上下文进行标定非兰伯特光度立体重建

    介绍了一种新颖的、基于可分离 4D 卷积的全卷积网络架构，将空间和光度一起利用，并回归到二维高斯热图，从而实现高效的表面形状估计。实验结果表明，所提出的方法在效率和准确性上均优于现有方法。

    Mar, 2021

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 用于高效非标定深度光学立体成像的神经网络结构搜索

    本文利用深度学习技术中的神经结构搜索方法，提出了一种自动化光度立体技术（PS）的方法，通过训练两个独立的网络来实现光度标定和法线估计的最佳匹配，从而达到高精度、低存储的光度立体模型构建。

    Oct, 2021

  • DeepPS2：使用两个不同光照图像重新审视光度立体成像

    本文通过使用两个不同照明下的图像，提出了一种新的基于逆渲染的深度学习框架 DeepPS2 来解决 photometric stereo 中的一个中间问题，即 PS2 问题，可以自主完成表面法线、表面反照率、光照估计和图像 relighting 等任务。

    Jul, 2022

  • 双目光度立体摄影技术中的神经高度图方法

    提出了一种新颖、高度实用的双目光度立体（PS）框架，其采集速度与单视图 PS 相同，但显著改善了几何估计的质量。和最近的神经多视图形状估计方法（如 NeRF、SIREN 和多视图光度立体的反向图形方法）一样，我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异，以及渲染表面强度与观察图像之间的差异，学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先，我们的表面不是用体积表示，而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次，我们使用了学习的 BRDF 并进行了点接近场强度渲染，而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。

    Nov, 2023