Dec, 2021

JoJoGAN：单张人脸风格化

PDF
TL;DR本论文介绍了一种名为 JoJoGAN 的简单程序，使用 GAN 反演过程和 StyleGAN 的样式混合特性，从单个样式示例中生成一个大型成对数据集，然后用于微调一个 StyleGAN，从而实现对图像的样式映射， JoJoGAN 只需要一个参考和最少 30 秒的训练时间，可以成功地使用极端样式参考，并且可以控制所使用的样式方面及其应用的程度，定性和定量评估表明，JoJoGAN 生成的高质量高分辨率图像大大优于当前最先进的技术。
发现论文，激发创造
  • AniGAN: 面向风格引导的生成对抗网络 (Unsupervised) 在动漫头像生成中的应用

    该研究提出了一个基于 GAN 的新框架，可以将肖像照片转换为动漫外观的高质量图像，同时保留源图像的整体结构，该框架采用了双分支鉴别器来学习具体领域分布和领域共享分布，有助于生成具有视觉吸引力的动漫图像。

    Feb, 2021

  • GANs N' Roses：稳定、可控、多样的图像到图像转换（也适用于视频！）

    本文提出了一种使用内容编码和随机选取风格编码生成动漫图像的方法，并从其简单而有效的内容和风格定义中导出了对抗性损失，可以生成非常丰富的动漫风格；通过丰富的定量和定性实验支持本方法的正确性；并可在不训练视频的情况下进行视频转换，从而为内容和风格的形式化提供了一个解决方案。

    Jun, 2021

  • 人脸生成的单次域适应

    本文提出了一种框架，通过迭代优化和样式混合技术，生成与给定 one-shot 示例相同分布的人脸图像，可用于增强下游任务的训练数据，并在检测人脸操作方面表现出较高有效性，与其他少样本领域适应方法相比具有优越性。

    Mar, 2020

  • BlendGAN: 隐式 GAN 混合用于任意化风格脸部生成

    提出了一种称为 BlendGAN 的方法，使用灵活的混合策略和通用的艺术数据集进行任意样式的面部生成，使用自监督样式编码器从艺术数据集中提取表示，并提出了一种加权混合模块 (WBM) 来隐式地混合面部和样式表示。通过这样做，BlendGAN 可以优雅地适合统一模型中的任意样式，并避免对样式一致性训练图像逐案例准备。

    Oct, 2021

  • Fine-Tuning StyleGAN2 用于卡通人脸生成

    本文提出了一种基于 StyleGAN2 预训练模型的图像翻译方法，可在不平衡数据上进行无监督学习，通过简单的微调技术即可学习有限数据，并且可以生成符合源图像结构的逼真目标图像。

    Jun, 2021

  • 全身人像一键风格化

    该论文提出了一种基于姿势引导的生成器的一次微调方法，以样式化全身人像，并包括使用新型骨架变形模块对其姿势进行修改，从而能够更好地保留输入图片的 “内容” 和艺术风格的 “形式” 并改善人体图像样式化的效果。

    Apr, 2023

  • Sketch-to-Art: 从草图中合成风格化的艺术图像

    该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

    Feb, 2020

  • 只用预训练的 StyleGAN 进行图像操作的多功能 StyleGAN

    本篇论文通过探究 StyleGAN 的空间特性，提出使用预训练的 StyleGAN 加一些操作就可以进行图像处理和编辑任务，并且在各项任务上表现可以与现有最先进技术媲美的方法。

    Nov, 2021

  • 通过 DINO 语义引导的可变形一次性人脸风格化

    该论文探讨了一次性人脸风格化的复杂问题，通过利用自监督视觉转换器和适应 StyleGAN 生成器进行精细调整，实现了在结构上具有鲁棒性和一致性的面部风格化，达到了显著的效率优势。

    Mar, 2024

  • 使用少量数据分块训练的交互式视频风格化

    本文提出了一种基于学习的视频样式化方法，可以将风格从少数几个所选关键帧传播到序列的其余部分，实现了实时推理和时态一致性等优点。

    Apr, 2020