CVPRJun, 2022

利用全局照明上下文的通用光度立体网络

PDF
TL;DR本文介绍了一种名为 “通用光度立体” 的新光度立体任务，旨在开发出一种无需假定特定光照模型即可适用于各种形状、材料和光照变化的解决方案算法，该算法的实现基于一种纯数据驱动的方法，通过提取通用的照明表示 —— 全局照明环境，代替了以往的物理光照参数恢复，同时通过使用设计的合成数据集训练神经网络，以根据各种形状、材料和光照适应一组新的数据集。通过与其他最先进的未校准光度立体方法进行比较，以演示我们方法的显著性。
universal photometric stereodata-driven methodsurface normal vectorsglobal lighting contextssynthetic dataset
发现论文，激发创造
  • 可扩展、详细且无蒙版通用光度立体

    本文介绍了 SDM-UniPS，一种具有突破性的可扩展，详细，无遮挡和通用的光度立体网络。我们的方法可以恢复惊人复杂的表面法线图，即使在未知的，空间变化的采集条件和非受控环境下。我们已经扩展了先前的通用光度立体网络，以提取空间光特性，利用高分辨率输入图像中的所有可用信息，并考虑表面点之间的非局部交互。此外，我们提出了一个新的合成训练数据集，包括现实世界场景中的各种形状，材料和照明情况。通过广泛的评估，我们证明了我们的方法不仅可以胜过公共基准上的校准的，特定于照明的技术，而且即使没有目标掩模，也可以在显著较少的输入图像下表现出色。

    Mar, 2023

  • 利用空间和光度上下文进行标定非兰伯特光度立体重建

    介绍了一种新颖的、基于可分离 4D 卷积的全卷积网络架构，将空间和光度一起利用，并回归到二维高斯热图，从而实现高效的表面形状估计。实验结果表明，所提出的方法在效率和准确性上均优于现有方法。

    Mar, 2021

  • CNN-PS: 基于卷积神经网络的非凸面光度立体恢复

    本文介绍了一种光度立体网络，该网络直接学习光度立体输入和场景表面法线之间的关系，通过合并所有输入数据到观察映射中，进一步处理无序的任意数量的输入图像，提高旋转伪不变性等训练和预测效果，通过基于物理的渲染器生成的综合光度立体数据集进行训练，能更好地解决非凸表面下的场景光照估计问题。

    Aug, 2018

  • 通用表面光度立体摄影的非校准神经反渲染

    本文提出了一个针对光度立体问题的不需要校准的深度神经网络框架，通过估计输入图像的光线方向来计算表面法线、双向反射分布函数值和深度，同时显式模拟图像形成过程中的凹凸面部分的互反射效应，结果表明该方法在挑战性主题上表现优于监督和经典方法。

    Dec, 2020

  • PX-NET：光度立体网络简单高效的像素训练

    该研究旨在提出一种新型的像素训练规程（PX-NET），它通过在独立像素生成数据上替换全局渲染图像的训练数据来实现对物体几何结构的迅速恢复，在结构和性能上都优于同类像素方法。

    Aug, 2020

  • 自校准深度光度立体网络

    本文提出了一种基于深度学习的非 Lambert 场景无标定光度立体方法，该方法相对于之前依赖于特定反射率和光源分布假设的方法，能够确定未知任意反射率下观察未知变化光照方向的场景的形状和光源方向，通过两阶段的深度学习架构 SDPS-Net 来实现。 对合成和实际数据集的实验表明，我们提出的方法明显优于先前的非标定光度立体方法。

    Mar, 2019

  • 通过神经反渲染实现自校准光度立体成像

    本文旨在解决在未知物体形状、物体反射率和光照方向的情况下进行三维物体重建的任务，提出了一种新的利用神经反演渲染和渐进式反射率基础来解决未标定光度测量问题的方法。该方法在真实世界数据集上表现出最先进的精度。

    Jul, 2022

  • 轻量级光度立体成像技术用于面部细节恢复

    在这篇论文中，我们提出了一种基于光度立体技术的轻量级策略，仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集，我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明，我们的方法可以生成高质量的重建结果。

    Mar, 2020

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 稀疏视角，近光源：非标定点照明光度立体的实用范式

    通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。

    Mar, 2024