URHand：通用可重新照明手部

Jan, 2024

URHand: Universal Relightable Hands

Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi...

TL;DRURHand 是第一个可以推广到不同视角、姿势、光照和身份的通用光真手部模型，通过使用手机捕捉的图像进行少样本个性化，能够在新型光照条件下实现光真渲染。通过建立基于神经光真技术和数百个身份的多视图手部图像的强大通用光真先验模型，进一步通过神经渲染器的线性光照模型来缩放身份跨越训练，并在自然光照下实现个性化的细节，以及在多样化身份下进行连续光照的实时渲染。通过物理模型和神经光真模型的联合学习，我们的方法在质量和推广性方面均取得了优秀的性能，还展示了使用手机扫描未知身份快速个性化 URHand 的能力。

Abstract

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminat

photorealistic relightable hand model universal relightable hand model few-shot personalization neural relighting physically based model

发现论文，激发创造

具备内在分解和姿势控制的可重新照明的神经行为模型

通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

Dec, 2023

Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

Jul, 2022

几何感知的单张图像人体整体光照调整

通过基于单图几何重建的框架实现针对人体的单张图片重照，在去除光照的同时，通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法，恢复逼真的阴影，展现出包括硬阴影在内的高频阴影效果，优于先前的方法。

Jul, 2022

Lite2Relight：3D 感知的单幅图像人像重照

利用 Lite2Relight 技术，本研究实现了在交互速度下预测肖像的 3D 一致头部姿态，并在物理上合理编辑光照。通过使用预训练的几何感知编码器和特征对齐模块，将输入图像映射到可编辑的 3D 空间，增强了肖像的面部几何和反射先验。通过广泛的定量和定性评估，表明我们的方法在效力、逼真度和实际应用方面优于现有方法，包括生成包括头发、眼睛和表情在内的全头部的 3D 一致结果。Lite2Relight 为各个领域中大规模采用逼真肖像编辑铺平了道路，提供了以前受限问题的强大且互动的解决方案。

Jul, 2024

神经网络实时人像视频补光通过一致性建模

通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

Apr, 2021

野外人体再照明：领域自适应单目全身人体再照明

本文提出了一种两阶段的人体图像重照明方法，通过神经网络训练和深度视频先验，解决了人体图像重照明的泛化和合成到真实的领域差异问题。

Oct, 2021

一个重新照明的三维交互手部数据集

该研究提出了 Re:InterHand 数据集，通过使用先进的手部重光网络和准确跟踪的两只手的三维姿势，实现了多样和逼真的图像外观和多样和大规模的地面真实（GT）三维姿势，在现有的三维互动手数据集的基础上进行了对比，并展示了其益处。

Oct, 2023

单张图像全身人物再照明

本文提出了一种基于数据驱动的方法，利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是，我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设，同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构，经过特殊的 PRT 分解训练，并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片，我们的模型在全身人类换光方面均优于现有技术。

Jul, 2021

基于物理引导的定向光照下人脸修复学习

本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

Jun, 2019

单张图像头像照明

本文提出了一种利用神经网络进行人像重灯光处理的方法，可以在只有一张手机拍摄的照片的情况下，将人像的光照效果变更为给定的任何光照环境，实现了比现有技术更优异的效果。

May, 2019