CVPRMar, 2024

稀疏视角，近光源：非标定点照明光度立体的实用范式

PDF
TL;DR通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。
neural approachesphotometric stereoreconstructionsparse viewpointsreal-world environment
发现论文，激发创造
  • 一般光照条件下的变分未校准光度立体重建

    本文提出了一种高效的原则性变分方法来进行低限制的反射光照下未校准的 Photometric Stereo 技术，其中近似于通过球形谐波展开的兰伯特反射模型，通过单个变分问题来联合恢复形状，反射和光照。

    Apr, 2019

  • NPLMV-PS：神经点光源多视角光度立体

    我们提出了一种新颖的多视图光度立体（PS）方法，利用神经形状表示和学习渲染器，显式利用像素强度渲染，模拟每个点的入射辐照度并使用全神经材质渲染器进行优化，同时通过估计法线和分割图最大化表面精度，达到在距离为 1.5m、分辨率 400x400 的情况下，超过经典方法 DiLiGenT-MV 的平均 0.2mm 的沙耶缝距离，对低光计数场景的异常法线具有鲁棒性，使用像素渲染距离仅为 0.27mm。

    May, 2024

  • 基于 CNN 的近场光度立体问题方法

    该研究提出了一种 CNN 基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态 - of-the-art 方法更好的实验效果。

    Sep, 2020

  • 双目光度立体摄影技术中的神经高度图方法

    提出了一种新颖、高度实用的双目光度立体（PS）框架，其采集速度与单视图 PS 相同，但显著改善了几何估计的质量。和最近的神经多视图形状估计方法（如 NeRF、SIREN 和多视图光度立体的反向图形方法）一样，我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异，以及渲染表面强度与观察图像之间的差异，学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先，我们的表面不是用体积表示，而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次，我们使用了学习的 BRDF 并进行了点接近场强度渲染，而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。

    Nov, 2023

  • 自校准深度光度立体网络

    本文提出了一种基于深度学习的非 Lambert 场景无标定光度立体方法，该方法相对于之前依赖于特定反射率和光源分布假设的方法，能够确定未知任意反射率下观察未知变化光照方向的场景的形状和光源方向，通过两阶段的深度学习架构 SDPS-Net 来实现。 对合成和实际数据集的实验表明，我们提出的方法明显优于先前的非标定光度立体方法。

    Mar, 2019

  • 轻量级光度立体成像技术用于面部细节恢复

    在这篇论文中，我们提出了一种基于光度立体技术的轻量级策略，仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集，我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明，我们的方法可以生成高质量的重建结果。

    Mar, 2020

  • 基于形态模型引导的稀疏光度三维人脸重建

    本研究提出了一种新的三维人脸重建技术，利用稀疏光度立体和单个图像的面部建模技术，通过采用语义分割技术，可以精确重构面部毛发和裸露皮肤区域，包括皱纹、眉毛、丘疹、毛孔等微小的几何细节，其表现可与电影品质制作相媲美。

    Nov, 2017

  • 无需相机姿态的稀疏视角合成的构造优化方法

    通过利用 3D 高斯喷洒方法，我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法，通过在构建过程中使用单目深度和将像素投影回 3D 世界来逐步构建解决方案，并通过检测训练视图与对应的渲染图像之间的 2D 对应关系，我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整，最后进行反投影。我们引入了高斯喷洒中预期表面的新概念，这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案，然后可以使用标准优化方法进行低通滤波和细化。在 Tanks 和 Temples 以及 Static Hikes 数据集上，我们展示了仅使用三个广泛间隔的视图的结果，显示出明显优于竞争方法的质量，包括那些具有近似相机姿态信息的方法。此外，我们的结果在使用一半数据集时，随着视图数量的增加而改善，并且在使用 InstantNGP 和高斯喷洒算法时超过了先前的方法。

    May, 2024

  • 通用表面光度立体摄影的非校准神经反渲染

    本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架，通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度，同时显式模拟图像形成过程中的凹凸面部分的互反射效应，结果表明该方法在挑战性主题上表现优于监督和经典方法。

    Dec, 2020

  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021