MyStyle++: 可控的个性化生成先验

Jun, 2023

MyStyle++: A Controllable Personalized Generative Prior

Libing Zeng, Lele Chen, Yi Xu, Nima Kalantari

TL;DR本文提出了一种个性化生成先验的方法，该方法可以显式地控制一组属性。我们在 MyStyle 的基础上构建，提出了一个新的优化系统，该系统对潜在空间进行组织，并提出一种损失，使其沿着一组特定方向对应于其属性的潜在代码。我们展示了我们的方法可以合成，编辑和增强个人图像，并对属性具有很好的控制，同时保留该个人的独特面部特征。

Abstract

In this paper, we propose an approach to obtain a personalized generative prior with explicit control over a set of attributes. We build upon mystyle, a recently introduced method, that tunes the weights of a pre-trained StyleGAN face generator on a few images of an individual. This sy

generative prior attributes control mystyle latent space facial features

发现论文，激发创造

MyStyle: 个性化生成先验

本文介绍了 MyStyle，这是一种使用少量照片训练的个性化深度生成先验的方法，其可以重建、增强和编辑特定人物的图像，生成的图像忠实于人物的关键面部特征。通过少量照片我们可以调整预训练的 StyleGAN 面部生成器的权重，形成一个本地的、低维的、个性化的流形空间，该流形空间包含与个人不同的各种肖像图片的潜在编码。此外，我们提出了一种统一的方法，将其应用于各种不适定的图像增强问题，例如修复、超分辨率和语义编辑，并取得了优异的定量和定性水平。

Mar, 2022

SemanticStyleGAN：学习组合生成先验进行可控图像合成和编辑

通过训练一个生成器来分别对局部语义部分进行建模，控制不同区域的纹理并且实现更加细粒度的合成和编辑，SemanticStyleGAN 作为具有内置解缠结的通用先验模型，可以促进基于 GAN 的应用程序的发展并实现更多的下游任务。

Dec, 2021

AttrLostGAN：基于可重构布局和样式的属性控制图像合成

本文提出了一种从布局生成图像的方法，可以对单个对象的出现进行属性控制，从而提高对多个对象场景的建模。

Mar, 2021

My3DGen: 构建轻量化个性化 3D 生成模型

My3DGen 是一个实用系统，使用不超过 10 张图像创建个性化和轻量级的 3D 生成先验系统。该系统利用预训练模型的固定权重作为通用先验，通过低秩分解在每个卷积和完全连接层的权重上进行单独的个性化先验训练，并通过基于人脸对称的规则化技术调整网络，指导其学习参数并减少过拟合。该系统仅增加了与完全微调的原始模型相比，每个身份约 0.6 百万个附加参数，同时保持生成的 3D 人脸的质量。

Jul, 2023

风格干预：如何通过基于风格的生成器实现空间脱耦？

本研究探索了利用预训练的基于样式生成器的 “样式空间” 控制本地翻译的可能性。提出了一种名为 “Style Intervention” 的轻量级优化算法，用于在高分辨率图像上进行面部属性编辑，证明了其在视觉和定量结果上的有效性，表现优于现有的基准。

Nov, 2020

具有生成图像先验的语义照片处理

本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

May, 2020

基于属性分解 GAN 的可控人物图像合成

介绍了一种属性分解生成对抗网络，能够通过将人的属性嵌入潜在空间作为独立编码，通过混合和插值运算在显式样式空间中灵活控制属性，从而实现可控的人物图像生成，实现了更好的姿势和组件属性转换。

Mar, 2020

基于风格的生成对抗网络生成器架构

本文提出了一种基于风格迁移文献的替代生成对抗网络的生成器体系结构，能够自动学习高级属性和生成图像中的随机变化，改善传统的分布质量量度标准，提高内插质量和交互性能，同时也更好地分离出潜在的多变因素。

Dec, 2018

具有生成先验的多模态人脸风格化

本文提出了一种支持多模式脸部艺术风格化的框架，利用 StyleGAN 的优势，并将其集成到编码器 - 解码器架构中进行高质量的面部生成，输出结果显示该框架在一次和零次风格化任务中均能实现比现有方法更出色的面部风格化性能。

May, 2023

基于有限数据的生成先验进行风格化面部素描提取

通过预训练的 StyleGAN 模型以及基于部分损失的两阶段学习技术，提出了 StyleSketch 方法，通过 16 对面部图像和相应的素描图像，训练了一个能够提取高分辨率风格化素描的生成器，并通过比较表明 StyleSketch 在提取高分辨率抽象人脸素描方面优于现有的最先进的素描提取方法和少量样本图像适应方法，同时还探索了其在其他领域的可用性和语义编辑的可能性。

Mar, 2024