Jul, 2024

Lite2Relight：3D感知的单幅图像人像重照

HTML
PDF
TL;DR利用Lite2Relight技术，本研究实现了在交互速度下预测肖像的3D一致头部姿态，并在物理上合理编辑光照。通过使用预训练的几何感知编码器和特征对齐模块，将输入图像映射到可编辑的3D空间，增强了肖像的面部几何和反射先验。通过广泛的定量和定性评估，表明我们的方法在效力、逼真度和实际应用方面优于现有方法，包括生成包括头发、眼睛和表情在内的全头部的3D一致结果。Lite2Relight为各个领域中大规模采用逼真肖像编辑铺平了道路，提供了以前受限问题的强大且互动的解决方案。
发现论文，激发创造
  • 基于物理引导的定向光照下人脸修复学习

    本文研究基于物理学原理的图像形成模型的深度学习架构，包括去除图像光线和校正漏光，并应用到肖像摄影数据库中。结果表明，该模型可以实现精确和可信的照明结果，并且可以推广到复杂的光照条件和挑战性姿势，包括主体未直视相机。

    Jun, 2019

  • 神经网络实时人像视频补光通过一致性建模

    通过 OLAT 数据集，提出了一种新的基于神经网络的实时、高质量和一致的视频人像重照方法，这是一种混合结构和光照分离的编码器-解码器架构，采用多任务和对抗训练策略进行语义感知一致性建模，并采用流基础监督方案进行时间建模，同时还提出一种光照采样策略进行光照一致性建模，以实现自然人像轻松编辑和重照。

    Apr, 2021

  • FreeStyleGAN：利用相机流形进行自由视角编辑的头像渲染

    本文提出了利用GAN进行3D重建，并引入了GAN相机流形的概念，通过精准的相机控制，实现了真正自由视点的渲染，在输入少量的照片的同时具有明显的语义控制能力。

    Sep, 2021

  • FENeRF: 神经辐射场中的人脸编辑

    使用FENeRF三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • VoLux-GAN: 高动态范围照明下用于3D人脸合成的生成模型

    VoLux-GAN是一种用于综合具有令人信服的再照明的3D感知面孔的生成框架。我们的主要贡献是一种体积HDR再照明方法，可以有效地沿着每个3D射线累积漫反射和高光反射等光照贡献。此外，我们展示了监督图像分解过程使用多个鉴别器的重要性。通过多个实验和与其他生成框架的比较，我们的模型是迈向照片般逼真的3D再照明生成模型的一大步。

    Jan, 2022

  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是3D-semantics-aware方法的新途径，在视图一致、语义分离的面部图像方面具有状态-of-the-art的性能、忠实度和效率。

    May, 2022

  • 通过虚拟光场和合成到实际的适应学习人像图像重新照明

    这篇论文提出了一种新方法，通过使用虚拟光源阵列来生成数据集，以代替使用高昂的专用抓取设备，从而实现高质量人像重新照明，同时保持真实感和物理上的一致性。

    Sep, 2022

  • FaceLit: 神经网络3D可调光面部

    提出了一种生成框架FaceLit，可从2D图像中学习纯3D面部形状和材质，并在各种用户定义的照明和视图条件下呈现，产生具有多视角和照明一致性的逼真人脸图像。

    Mar, 2023

  • 实时辐射场用于单张图像人像视角合成

    该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法，使用基于视觉Transformer的三面板编码器，利用合成数据进行训练，通过卷积渲染技术对神经辐射场的规范三面板进行重建，可以在具有3D感知图像生成器的其他类别中应用。

    May, 2023

  • 全息照明：从单张图像实现可控体积肖像照明

    Holo-Relighting是一种能够从单张图像中合成新视角和新光照的体积照明方法，利用预训练的3D GAN来重建几何和外观，并通过体积渲染将其渲染到任意观点。通过图像渲染和质量提升技术，Holo-Relighting可以实现更好的光照效果、3D一致性和可控性，从而达到最先进的照明质量。

    Mar, 2024