该论文提出了一种新的深度学习光照模型技术，结合高质量的 3D 人脸追踪算法，从普通视频中实现了微妙且稳健的面部动作转移到 3D 光照逼真的虚拟形象身上，解决了现有人物特定 3D 模型不稳健的问题，并在表情、姿势及光线变化等方面得到了广泛应用验证，成为可扩展的 AR/VR 通信系统的有效框架。

Mar, 2021

通过仅有零散视频进行光照未知环境下，可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照，而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题，我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模，我们提出了可逆变形场，有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索，我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明，我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。

Dec, 2023

通过使用高保真的几何模型和外观模型以及实时渲染技术，我们提出了实时可重光头像的方法，该方法能够捕捉到人脸细节，并支持多种材质的统一呈现。

Dec, 2023

从单眼视频中生成可闪烁的音频驱动的说话肖像的新框架，使用隐式学习的面部法线和图像，结合三维面部先验和动态估计视频的光线条件进行反射分解，并通过身份一致性损失改进立体面部表示。

Sep, 2023

通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

Dec, 2023

本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

Jul, 2022

我们提出了一种从单一单目视频中学习可个性化动画的、具有几何精度、逼真性、可重新照明性并且与当前渲染系统兼容的 3D 头像人物模型的高效方法。

Oct, 2023

本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

Jun, 2019

引入一种协同设计方法，用于人像重照，将物理引导的架构与预训练框架相结合。通过基于 Cook-Torrance 反射模型的精心配置的架构设计，准确模拟光 - 表面相互作用。此外，为了克服高质量光台数据稀缺的限制，我们开发了一种自监督预训练策略。这种精确的物理建模和扩展的训练数据集的新结合为重照现实主义建立了新的基准。

Feb, 2024

通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

Dec, 2023