本文提出了一种使用人类眼睛的反射信息进行场景重建的方法,通过联合优化角膜姿态、辐射度场和观察者眼睛的虹膜纹理,以及使用简单正则化先验提高重建质量,实现了通过眼睛反射恢复 3D 场景的可行性。
Jun, 2023
本文提出了一个称之为 Relighting4D 的结构化框架,通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场,进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证,我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离,实现无限可调的动态换背景。
Jul, 2022
本文提出了一种新的任务,在单张含人像和人像在镜中映射的图像中重建 3D 人体姿势,借助镜面反射可以提供额外的视角,旨在提高现有单视角 3D 姿势估计器的准确性和通用性。
Apr, 2021
本文提出了一种基于数据驱动的方法,利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是,我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设,同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构,经过特殊的 PRT 分解训练,并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片,我们的模型在全身人类换光方面均优于现有技术。
Jul, 2021
研究了通过多次反射来还原隐蔽空间结构及使用不同相机还原三维物体的方法。
Mar, 2012
该研究开发了一个三阶段的神经网络模型,利用 RGB - 热成像数据集进行过去的人体姿势估计,并表明热信号可显著降低该任务的不确定性。
Apr, 2023
本文介绍了一种基于卷积神经网络的监督学习方法,用于推断人像中的反照率、形状、照明以及包含每个像素点的九个球谐系数的光传输图,以达到更加真实的照明效果。通过对数据集的精心准备,即使只有少量的合成人物数据集,也可以合理地推断出几何信息,包括遮挡。
Aug, 2019
引入一种协同设计方法,用于人像重照,将物理引导的架构与预训练框架相结合。通过基于 Cook-Torrance 反射模型的精心配置的架构设计,准确模拟光 - 表面相互作用。此外,为了克服高质量光台数据稀缺的限制,我们开发了一种自监督预训练策略。这种精确的物理建模和扩展的训练数据集的新结合为重照现实主义建立了新的基准。
Feb, 2024
我们提出了 IntrinsicAvatar,一种从仅单目视频中恢复着装人类角色的内在属性,包括几何、反射率、材质和环境光照的新方法。
Dec, 2023
该研究论文提出了一种针对服装人体的三维形状估计方法,通过使用极化图像捕获几何线索来重构人体表面法线图,并采用深度学习模型将其转化为 3D 人体形态估计,其结果表明极化相机对于人体形态估计是一种有前途的替代方法。
Jul, 2020