通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

Apr, 2021

本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

Jul, 2022

通过仅有零散视频进行光照未知环境下，可用于合成人类真实照片的新视角、姿势和光照的可重光和可动画化神经化身的轻量级创建方法。该方法中的关键挑战在于分解几何、服装主体的材质和光照，而由于身体运动引起的复杂几何和阴影的变化使得问题更加困难。为了解决这个不适定问题，我们提出了新的技术来更好地建模几何和阴影变化。对于几何变化建模，我们提出了可逆变形场，有助于解决逆皮肤问题并提高几何质量。为了建模空间和时间变化的光照线索，我们提出了一种姿势感知的部位光可见性网络来估计光线遮挡。在合成和真实数据集上进行了大量实验证明，我们的方法可以重构高质量的几何并在不同的身体姿势下生成逼真的阴影。源代码和数据可在 https://wenbin-lin.github.io/RelightableAvatar-page/ 上获取。

Dec, 2023

我们开发了一种个性化视频照明算法，在任何姿势、表情和照明条件下实时生成高质量和时间一致的照亮视频。通过随意捕捉用户在监视器上观看 YouTube 视频的视频，我们展示了可以训练一种个性化算法，能够在任何条件下产生高质量的照明。我们的关键贡献是一种新颖的神经照明架构，能够有效地将内在的外观特征、几何和反射从源照明中分离出来，并将其与目标照明结合起来生成一个照亮图像。这种神经架构能够平滑内在的外观特征，从而实现时间稳定的视频照明。定性和定量评估表明，我们的照明架构在随意捕捉的 Light Stage at Your Desk（LSYD）数据和一次只捕捉一个光的 Light Stage (OLAT) 数据集上，比最先进的方法改进了肖像图像的照明质量和时间一致性。

Nov, 2023

本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

Jun, 2019

Holo-Relighting 是一种能够从单张图像中合成新视角和新光照的体积照明方法，利用预训练的 3D GAN 来重建几何和外观，并通过体积渲染将其渲染到任意观点。通过图像渲染和质量提升技术，Holo-Relighting 可以实现更好的光照效果、3D 一致性和可控性，从而达到最先进的照明质量。

Mar, 2024

通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

Dec, 2023

提出了一种新的框架 TRAvatar，用于捕捉和重建高保真度的 3D 头像，实现实时动画和多样化场景下的逼真照明效果。

Sep, 2023

这篇论文提出了一种新方法，通过使用虚拟光源阵列来生成数据集，以代替使用高昂的专用抓取设备，从而实现高质量人像重新照明，同时保持真实感和物理上的一致性。

Sep, 2022

通过使用高保真的几何模型和外观模型以及实时渲染技术，我们提出了实时可重光头像的方法，该方法能够捕捉到人脸细节，并支持多种材质的统一呈现。

Dec, 2023