该论文介绍了一个无条件的生成对抗网络 LumiGAN，在物理上基于照明模块生成可以在推理时进行新颖照明的 3D 人脸。与以往的工作不同，LumiGAN 可以在自我监督的学习中使用有效的可见性公式创建逼真的阴影效果。此外，作者还展示了 LumiGAN 与现有的 3D GANs 和可以进行新颖照明的 GANs 相比具有显着改进的几何生成和值得注意的更好逼真度。

Apr, 2023

提出了一种生成框架 FaceLit，可从 2D 图像中学习纯 3D 面部形状和材质，并在各种用户定义的照明和视图条件下呈现，产生具有多视角和照明一致性的逼真人脸图像。

Mar, 2023

Holo-Relighting 是一种能够从单张图像中合成新视角和新光照的体积照明方法，利用预训练的 3D GAN 来重建几何和外观，并通过体积渲染将其渲染到任意观点。通过图像渲染和质量提升技术，Holo-Relighting 可以实现更好的光照效果、3D 一致性和可控性，从而达到最先进的照明质量。

Mar, 2024

通过使用高保真的几何模型和外观模型以及实时渲染技术，我们提出了实时可重光头像的方法，该方法能够捕捉到人脸细节，并支持多种材质的统一呈现。

Dec, 2023

在本文中，我们通过使用一组可重新照明的 3D 高斯点来表示点光源照亮的场景，提出了一种新方法。受到 Blinn-Phong 模型的启发，我们的方法将场景分解为环境、漫反射和镜面三个组成部分，实现了逼真的照明效果合成。为了促进与光照条件无关的几何信息的分解，我们引入了一种基于双层优化的元学习框架。基本思想是将各个光照位置下的渲染任务视为多任务学习问题，我们的元学习方法通过在不同视点和不同光照位置中泛化学习到的高斯几何形状，有效地解决了这一问题。实验证明，与现有的自由视点重新照明方法相比，我们的方法在训练效率和渲染质量方面具有较高的效果。

May, 2024

通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

Apr, 2021

本文提出了一种新的 3D-aware GAN，通过在最近的生成辐射流多面体（GRAM）方法定义的一组 2D 辐射流多面体上应用 2D 卷积并应用专用的损失函数进行高效 GAN 训练，从而避免了 prohibitively-expensive 的计算成本，并能够以体积渲染的严格 3D 一致性生成高分辨率图像（高达 1024X1024）。与现有方法相比，在 FFHQ 和 AFHQv2 数据集上的实验表明，我们的方法能够产生高质量的 3D-consistent 结果，明显优于现有的方法。

Jun, 2022

本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

Oct, 2021

我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

Apr, 2023

该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉 Transformer 的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有 3D 感知图像生成器的其他类别中应用。

May, 2023