CVPRFeb, 2024

SwitchLight: 基於物理驅動架構和預訓練框架的人物肖像輝光共設計

PDF
TL;DR引入一种协同设计方法，用于人像重照，将物理引导的架构与预训练框架相结合。通过基于 Cook-Torrance 反射模型的精心配置的架构设计，准确模拟光 - 表面相互作用。此外，为了克服高质量光台数据稀缺的限制，我们开发了一种自监督预训练策略。这种精确的物理建模和扩展的训练数据集的新结合为重照现实主义建立了新的基准。
发现论文，激发创造
  • 基于物理引导的定向光照下人脸修复学习

    本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

    Jun, 2019

  • 单张图像全身人物再照明

    本文提出了一种基于数据驱动的方法，利用预计算辐射传输和球谐光对全身人物图像进行自动换光。与以往工作不同的是，我们通过显式建模散射和镜面反射来消除对 Lambertian 材料的假设，同时引入了基于光的残差项来补偿 PRT 图像重建中的误差。我们提出了一种新的深度学习架构，经过特殊的 PRT 分解训练，并使用 L1、对数和渲染损失的组合进行训练。对于合成图像和照片，我们的模型在全身人类换光方面均优于现有技术。

    Jul, 2021

  • 几何感知的单张图像人体整体光照调整

    通过基于单图几何重建的框架实现针对人体的单张图片重照，在去除光照的同时，通过采用经过修改的 HRNet 和基于光线追踪的每像素灯光表示方法，恢复逼真的阴影，展现出包括硬阴影在内的高频阴影效果，优于先前的方法。

    Jul, 2022

  • 通过虚拟光场和合成到实际的适应学习人像图像重新照明

    这篇论文提出了一种新方法，通过使用虚拟光源阵列来生成数据集，以代替使用高昂的专用抓取设备，从而实现高质量人像重新照明，同时保持真实感和物理上的一致性。

    Sep, 2022

  • 神经网络实时人像视频补光通过一致性建模

    通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

    Apr, 2021

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • 野外人体再照明：领域自适应单目全身人体再照明

    本文提出了一种两阶段的人体图像重照明方法，通过神经网络训练和深度视频先验，解决了人体图像重照明的泛化和合成到真实的领域差异问题。

    Oct, 2021

  • 单张图像头像照明

    本文提出了一种利用神经网络进行人像重灯光处理的方法，可以在只有一张手机拍摄的照片的情况下，将人像的光照效果变更为给定的任何光照环境，实现了比现有技术更优异的效果。

    May, 2019

  • 朝着实用的高保真可重照明虚拟人物捕捉

    提出了一种新的框架 TRAvatar，用于捕捉和重建高保真度的 3D 头像，实现实时动画和多样化场景下的逼真照明效果。

    Sep, 2023

  • 具备内在分解和姿势控制的可重新照明的神经行为模型

    通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

    Dec, 2023