May, 2023

TD-GEM: 文本驱动的服装编辑映射器

PDF
TL;DR本文提出了一种名为 TD-GEM 的文本驱动服装编辑方案方法，通过生成对抗网络反演获取数据图像的潜在表达，之后通过对比学习的语言图像预训练（CLIP）指导一个服装图像的潜在表达，以在保持图像其他部分不变的情况下编辑与文本要求一致的服装项目，该方案通过对颜色和袖长进行实验，生成了更逼真的图像。
fashion image editinglatent representationstd-gemgenerative adversarial network inversionsclip
发现论文，激发创造
  • FICE: 带引导 GAN 反演的文本调制时尚图像编辑

    本论文提出了一种新的文本引导时尚图片编辑方法 FICE，包括 GAN 反演、CLIP 模型语义信息和姿态、图片评估等多项约束，使其能够更好地控制图像合成的逼真程度，并与多种先进方法进行对比验证，结果表明 FICE 具有更强的编辑表现和高度逼真的时尚图像生成能力。

    Jan, 2023

  • StyleHumanCLIP: 面向 StyleGAN-Human 的文本引导服装操纵

    本文提出了一种基于文本引导的全身人像图像合成框架，采用基于注意力机制的潜在代码映射器，实现了比现有映射器更多元化对 StyleGAN 的控制，并在推理时引入特征空间掩码机制来避免因文本输入导致的不良影响，经定量和定性评估，证明了我们的方法比现有方法更能忠实地控制生成的图像。

    May, 2023

  • 基于语言引导的时尚图像编辑与特征变换

    本文提出了一种名为 FiLMedGAN 的基于自然语言表示的特征线性调制的方法，能够在仅使用少量空间信息的情况下对服装图像进行编辑和生成，相比于现有的基线工作，结合 skip connection 和 total variation regularization 方法，可以生成更为真实可信的效果，并在生成的新装与目标描述一致时具有更好的本地化能力。

    Aug, 2018

  • 基于生成式人类先验的时尚风格编辑

    该研究通过使用文本描述来操纵人类形象的时尚风格编辑，探索了时尚风格编辑的任务，并提出了两个加强指导信号的方向：文本扩充和视觉参考。通过基于人类先验的生成模型和对潜在空间结构的经验发现，在时尚风格编辑领域取得了令人兴奋的新应用。

    Apr, 2024

  • CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • 魔力服装：可控的服装驱动图像合成

    基于潜在扩散模型的网络架构，Magic Clothing 提出了一种用于未被探索的以服装为驱动的图像合成任务的模型，并进行了广泛实验证明其在各种条件控制下实现了最先进的结果。

    Apr, 2024

  • 多模态服装设计师：基于人体中心的潜在扩散模型用于时尚图像编辑

    本文介绍了一种基于 latent diffusion models 的新型架构，通过多模态提示（文本、人体姿势和服装草图）引导生成人体中心时尚图像，同时扩展了两个已有的时尚数据集，证明了该方法的有效性。

    Apr, 2023

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021