Apr, 2023

一种鲁棒的文本驱动图像编辑方法：自适应探索 StyleGAN 和 CLIP 潜空间中的方向

HTML
PDF
TL;DR我们提出了一种使用 SVM 在 StyleGAN 和 CLIP 空间自适应构建编辑方向的方法，将大规模图像语料库中与文本指令相似的图像通过 CLIP 相似性检索，用 SVM 训练正负图像分类器将编辑方向表示为 CLIP 空间中的法向量，并验证其性能与 StyleCLIP 基准一致，而且不会增加计算时间。
发现论文，激发创造
  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • CLIP2StyleGAN：无监督提取 StyleGAN 编辑方向

    本文提出一种方法将StyleGAN和CLIP的预训练潜空间有效链接，从而能够自动从StyleGAN中提取语义标注的编辑方向，找到并命名有意义的编辑操作，而不需要任何额外的人类指导

    Dec, 2021

  • StyleMC: 基于多通道快速文字引导的图像生成和操作

    本文提出了一种快速高效的以文本驱动的图像生成和操控方法——StyleMC，利用CLIP的loss和identity loss进行图像操控，不需要工程设计，仅需少量文本prompt训练即可找到稳定的全局direction，比之前的方法更加高效

    Dec, 2021

  • 使用去噪扩散和CLIP对预训练StyleGAN进行文本驱动采样

    引入了一种新的方法，可以从预训练的CLIP和StyleGAN中高效创建文本到图像模型，无需外部数据或微调。通过训练一个基于CLIP嵌入的扩散模型以对预先训练的StyleGAN的潜在向量进行采样，我们称之为clip2latent，利用CLIP图像和文本嵌入之间的对齐来避免需要任何文本标记数据来训练条件扩散模型。展示了clip2latent使我们能够根据文本提示生成高分辨率（1024x1024像素）的图像，并具有快速采样，高图像质量和低训练计算和数据要求。还展示了使用经过充分研究的StyleGAN架构，无需进一步微调，就可以直接应用现有方法来控制和修改生成的图像，为我们的文本到图像流水线添加了进一步的控制层面。

    Oct, 2022

  • FastCLIPstyler: 使用样式表示进行无需优化的基于文本的图像风格转移

    通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比CLIPstyler快约1000倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

    Oct, 2022

  • 通过文本引导，在StyleGAN中学习与输入无关的操作方向

    提出了一种新的方法用于基于文本指导的图像风格操作，构建了一个字典来实现效果，已有方法存在很多的局限性，自己提出的方法可以同时处理多个通道间的互动关系，提高能发现未知方向的能力，同时保持了实时性和分离度。

    Feb, 2023

  • DeltaEdit: 探索文本无关的训练用于以文本为驱动的图像处理

    本文提出了一个名为DeltaEdit的新框架，通过以CLIP Delta空间为基础来进行原始图像和目标图像之间的编辑，从而实现了基于文本的图像编辑的零样本推理。

    Mar, 2023

  • CLIP引导下的StyleGAN反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法CLIPInverter，通过在预训练的GAN反演网络中集成轻量级文本适配器层，以目标描述的CLIP嵌入为条件进行初始反演步骤的条件化，通过使用CLIP引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • DeltaSpace：面向灵活的文本引导图像编辑的语义对齐特征空间

    通过在CLIP DeltaSpace中映射CLIP视觉特征差异和对应文本描述的CLIP文本特征差异，我们提出了DeltaEdit框架，实现了灵活的文本引导图像编辑。

    Oct, 2023

  • 基于增强驱动的度量方法：平衡文本导向图像编辑中的保留与修改

    本研究针对文本导向图像编辑中缺乏专门评估指标的问题，提出了一种新颖的评估方法AugCLIP，能够平衡图像的核心元素保留与目标文本要求的修改。通过引入多模态的大型语言模型，AugCLIP有效提高了对理想编辑图像表现的评估，与现有度量相比，其结果更贴近人类评估标准，有望推动文本导向图像编辑领域的进一步发展。

    Oct, 2024