May, 2023

具有生成先验的多模态人脸风格化

PDF
TL;DR本文提出了一种支持多模式脸部艺术风格化的框架，利用 StyleGAN 的优势，并将其集成到编码器 - 解码器架构中进行高质量的面部生成，输出结果显示该框架在一次和零次风格化任务中均能实现比现有方法更出色的面部风格化性能。
artistic face stylizationmulti-modal face stylizationstyleganencoder-decoder architectureclip
发现论文，激发创造
  • GCFSR: 一种基于生成和控制的人脸超分辨率方法，无需利用面部和 GAN 先验知识

    本文介绍了一种基于 GAN 先验的面部图像超分辨率方法，通过特征调制和风格调制生成更加真实的面部细节并保留识别信息，对比现有方法，该方法可以在不需要额外先验的情况下从头开始训练，并可在测试时通过特征调制实现不同的生成效果。

    Mar, 2022

  • LeGO：通过表面变形网络实现可动漫化风格的人脸生成（以单个示例为基础）

    通过训练表面变形网络和使用配对样例来翻译目标风格，该方法实现了高度风格化的 3D 人脸模型，可以生成不同拓扑的面部模型，并用于诸如头像生成、几何样式的线性插值以及风格化头像的面部动画等应用。

    Mar, 2024

  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • M$^3$Face：一种统一的多模态多语言人脸生成与编辑框架

    M3Face 是一个统一的多模态多语言框架，用于可控的人脸生成和编辑，它使用户能够仅通过文本输入来自动生成控制模态，如语义分割或面部标志，并随后生成人脸图像。

    Feb, 2024

  • 极端姿势和表情下的高保真面部操纵

    本文提出了一种简化面部操纵过程的新框架，包括边界预测阶段和解缠合成阶段，其中边界预测阶段通过边界图像对姿势和表情进行建模，解缠合成阶段则使用两个编码器网络将预测的边界图像和输入的面部图像编码到结构和纹理潜空间中并进行分离，最后基于一个新的高分辨率的人脸操纵数据库进行实验验证。

    Mar, 2019

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • 高保真人脸换脸与风格融合

    通过一个创新的端到端框架，我们提出了一种高保真度的面部交换方法，其中使用了深度学习方法中的生成对抗网络（GANs）作为基础，通过面部属性编码器、基于注意力的样式混合模块和样式解码器等多个模块，解决了以往面部交换方法中的混合不一致、失真、伪影和训练稳定性等问题。我们在 CelebA-HQ 数据集上进行了大量实验，与其他先进方法相比，我们的面部交换方法生成的图像具有更高的视觉质量，并且每个提出的模块都显著有效。源代码和权重将公开提供。

    Dec, 2023

  • BlendGAN: 隐式 GAN 混合用于任意化风格脸部生成

    提出了一种称为 BlendGAN 的方法，使用灵活的混合策略和通用的艺术数据集进行任意样式的面部生成，使用自监督样式编码器从艺术数据集中提取表示，并提出了一种加权混合模块 (WBM) 来隐式地混合面部和样式表示。通过这样做，BlendGAN 可以优雅地适合统一模型中的任意样式，并避免对样式一致性训练图像逐案例准备。

    Oct, 2021

  • MyStyle++: 可控的个性化生成先验

    本文提出了一种个性化生成先验的方法，该方法可以显式地控制一组属性。我们在 MyStyle 的基础上构建，提出了一个新的优化系统，该系统对潜在空间进行组织，并提出一种损失，使其沿着一组特定方向对应于其属性的潜在代码。我们展示了我们的方法可以合成，编辑和增强个人图像，并对属性具有很好的控制，同时保留该个人的独特面部特征。

    Jun, 2023

  • MyStyle: 个性化生成先验

    本文介绍了 MyStyle，这是一种使用少量照片训练的个性化深度生成先验的方法，其可以重建、增强和编辑特定人物的图像，生成的图像忠实于人物的关键面部特征。通过少量照片我们可以调整预训练的 StyleGAN 面部生成器的权重，形成一个本地的、低维的、个性化的流形空间，该流形空间包含与个人不同的各种肖像图片的潜在编码。此外，我们提出了一种统一的方法，将其应用于各种不适定的图像增强问题，例如修复、超分辨率和语义编辑，并取得了优异的定量和定性水平。

    Mar, 2022