基于 CNN 的近场光度立体问题方法
本文介绍了一种光度立体网络,该网络直接学习光度立体输入和场景表面法线之间的关系,通过合并所有输入数据到观察映射中,进一步处理无序的任意数量的输入图像,提高旋转伪不变性等训练和预测效果,通过基于物理的渲染器生成的综合光度立体数据集进行训练,能更好地解决非凸表面下的场景光照估计问题。
Aug, 2018
提出了一种新颖、高度实用的双目光度立体(PS)框架,其采集速度与单视图 PS 相同,但显著改善了几何估计的质量。和最近的神经多视图形状估计方法(如 NeRF、SIREN 和多视图光度立体的反向图形方法)一样,我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异,以及渲染表面强度与观察图像之间的差异,学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先,我们的表面不是用体积表示,而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次,我们使用了学习的 BRDF 并进行了点接近场强度渲染,而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。
Nov, 2023
介绍了一种新颖的、基于可分离 4D 卷积的全卷积网络架构,将空间和光度一起利用,并回归到二维高斯热图,从而实现高效的表面形状估计。实验结果表明,所提出的方法在效率和准确性上均优于现有方法。
Mar, 2021
本文提出了一个深度卷积网络 PS-FCN,用于快速前向传递预测一个物体的法线图,并可以解决非 Lambertian 表面的光度立体计算问题,可处理多个图像和光照方向,同时具有在校准和非校准场景下的高性能。
Jul, 2018
本文介绍了一种深度学习方法,解决了光度立体的问题,在已知光照方向的情况下可以处理未知各向同性反射的表面,得出表面法线图;同时还提出了一种新的卷积网络方法以处理光照方向未知的情况。在多个数据集上经过充分的评估,该方法取得了更优秀的结果。
Jul, 2020
通过提出一种端到端的非标定多视点 PS 框架,以实现在真实环境中通过稀疏视点获取高分辨率形状的重建,摒弃了黑暗室的假设,并允许静态环境光和动态 LED 光的组合,从而实现了在实验室外轻松捕获数据,并通过实验证实,在稀疏视点情况下超越了现有的基准方法,将高精度三维重建从黑暗室引入到现实世界中,并保持了合理的数据采集复杂性。
Mar, 2024
在这篇论文中,我们提出了一种基于光度立体技术的轻量级策略,仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集,我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明,我们的方法可以生成高质量的重建结果。
Mar, 2020
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
该研究旨在提出一种新型的像素训练规程(PX-NET),它通过在独立像素生成数据上替换全局渲染图像的训练数据来实现对物体几何结构的迅速恢复,在结构和性能上都优于同类像素方法。
Aug, 2020
本文通过使用两个不同照明下的图像,提出了一种新的基于逆渲染的深度学习框架 DeepPS2 来解决 photometric stereo 中的一个中间问题,即 PS2 问题,可以自主完成表面法线、表面反照率、光照估计和图像 relighting 等任务。
Jul, 2022