Nov, 2023

个性化视频光照重构采用非专业光场

PDF
TL;DR我们开发了一种个性化视频照明算法，在任何姿势、表情和照明条件下实时生成高质量和时间一致的照亮视频。通过随意捕捉用户在监视器上观看 YouTube 视频的视频，我们展示了可以训练一种个性化算法，能够在任何条件下产生高质量的照明。我们的关键贡献是一种新颖的神经照明架构，能够有效地将内在的外观特征、几何和反射从源照明中分离出来，并将其与目标照明结合起来生成一个照亮图像。这种神经架构能够平滑内在的外观特征，从而实现时间稳定的视频照明。定性和定量评估表明，我们的照明架构在随意捕捉的 Light Stage at Your Desk（LSYD）数据和一次只捕捉一个光的 Light Stage (OLAT) 数据集上，比最先进的方法改进了肖像图像的照明质量和时间一致性。
personalized video relighting algorithmtemporally consistentneural relighting architectureintrinsic appearance featurestemporal stability
发现论文，激发创造
  • 神经网络实时人像视频补光通过一致性建模

    通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器 - 解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

    Apr, 2021

  • 通过虚拟光场和合成到实际的适应学习人像图像重新照明

    这篇论文提出了一种新方法，通过使用虚拟光源阵列来生成数据集，以代替使用高昂的专用抓取设备，从而实现高质量人像重新照明，同时保持真实感和物理上的一致性。

    Sep, 2022

  • Relighting4D: 从视频中生成可重新灯光调整的神经网络人形模型

    本文提出了一个称之为 Relighting4D 的结构化框架，通过神经网络分解人体的空间时间几何和反射属性为一组法线、遮挡、漫反射和镜面映射的神经场，进而进行基于物理的面部渲染且可自我学习。通过在真实和合成数据集上的广泛实验验证，我们的方法能够以自我监督学习的方式将人体演员的表演与其背景分离，实现无限可调的动态换背景。

    Jul, 2022

  • ReliTalk：基于单一视频的可重光的说话肖像生成

    从单眼视频中生成可闪烁的音频驱动的说话肖像的新框架，使用隐式学习的面部法线和图像，结合三维面部先验和动态估计视频的光线条件进行反射分解，并通过身份一致性损失改进立体面部表示。

    Sep, 2023

  • 光场超分辨率：连续高频照明

    该研究提出了一种基于学习的解决方案，用于对来自灯光舞台的人脸扫描进行超分辨率处理，以便在查询位置生成逼真的阴影和高光，同时避免由于舞台灯光采样不足而导致的伪影等众多偏差。

    Oct, 2020

  • 基于物理引导的定向光照下人脸修复学习

    本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

    Jun, 2019

  • 单张图像头像照明

    本文提出了一种利用神经网络进行人像重灯光处理的方法，可以在只有一张手机拍摄的照片的情况下，将人像的光照效果变更为给定的任何光照环境，实现了比现有技术更优异的效果。

    May, 2019

  • SunStage：利用太阳作为光舞台进行人像重建和重照

    本文介绍了 SunStage，一种使用智能手机相机和太阳捕捉可比数据的轻量级替代品，能够在野外非校准环境下实现面部几何，反射和光照参数的联合重构。

    Apr, 2022

  • 具备内在分解和姿势控制的可重新照明的神经行为模型

    通过基于多视角视频的学习方法，我们提出了可重光的神经网络人体模型，能够实现真实感的光照效果、外观编辑以及任意骨骼姿势控制，并在实际场景中进行了评估，展示了针对新颖人体动作的最新重光效果。

    Dec, 2023

  • 多视角立体下的自由视点室内神经光照重构

    利用卷积神经网络构建的光照算法，可以实时改变室内场景的光照，并保持了物体的阴影和光泽材质，从而实现自由视点浏览。

    Jun, 2021