在家中进行形状和材料捕捉
本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法,旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF,通过最小化光度误差优化多视角反射率网络的潜在空间,成功地实现了从稀疏数据中重建出高质量的物体,进而渲染出真实的图像。
Mar, 2020
该论文提出了一种深度学习方法,可以从不确定数量的拍摄的无序图片中估计材料外观,无需校准,并通过提取每张图片中的最有用的信息并从数据中学到的先验知识,处理视角和光线方向的变化,从而实现对材料的捕捉,并在单张至多张图片的输入条件下,实现与现有单张和复杂多张方法之间的完美平衡。
Jun, 2019
该论文提出了一种高质量的面部捕捉方法,利用单个手机闪光灯序列在昏暗的房间中捕捉面部几何和外观,模拟了完整的面部包括皮肤、口腔内部、头发和眼睛,并展示了可以捕捉高质量的 3D 可光照化扫描。
Dec, 2023
本文提出了一种基于学习的、适用于 3D 扫描与融合系统的、从 8 位 RGB 图像中实时直接估算表面反射率的轻量级方法,并设计了两种新的网络架构和一种损失函数,同时还建立了一个大型合成数据集 SynBRDF 用于反射率估算。实验结果表明,该方法对于未受控制环境下的反射率估算具有优越性。
May, 2017
通过卷积神经网络技术,直接预测图像的反射率图以分解出出现的内在属性,并展示了如何通过间接方案在表面方向预测和数据插值的帮助下提高估计结果,同时引入基于真实与合成图像的全新挑战 SMASHINg 评估方法并展示了反射率图在图片编辑中的应用。
Nov, 2015
本文提出了一种基于深度多层感知器(MLP)的坐标系参数化方法,通过充分利用观察到的光度变化和表面阴影,恢复了表面形状和非兰伯特表面反射,并显式地预测投射阴影,减轻了这些遮挡区域上可能存在的估计误差。测试结果表明,该方法在真实世界图像中优于现有方法,并且由于 MLP 网络较小,相比以前基于 CNN 的方法,其速度提高了一个数量级。
Mar, 2022
本研究提出了一种用于光度立体图像的卷积神经网络结构,通过物理学建模的无监督学习框架,可以进行表面法线和反射率预测,并且在实际场景中达到了最先进的性能表现。
Feb, 2018
本研究提出一种基于神经表示的脸部反射模型,通过单张图像的估计来生成基于光照、视角和脸部几何变换的脸部反射基,可用于在任何光照条件下从任何视角渲染脸部,其能更好地捕捉诸如亚表面散射、镜面效应、自身阴影和其他高阶效应等物理基元,进而提高光照模型的仿真度。
Aug, 2020
本研究提出了一种基于学习的方法,使用微观几何外观作为主要线索,从材料的单个漫反射图像中恢复法线、高光和粗糙度,并展示了我们的方法的性能表现。
May, 2023
本文提出了一种从 360 度立体图像中估计场景高清空间变化光照、反射和几何的方法,该方法利用全景图像获得场景的详细几何信息,结合物理约束共同估计场景属性。通过重建场景的近场光环境、运用深度学习模型推断反射率和表面法线,加入光照与几何之间的物理约束以改进场景的反射率,实验结果表明该方法在增强现实应用中具有 State of the art 的性能有优势。
Apr, 2021