CVPRDec, 2021

HairCLIP: 通过文本和参考图像设计您的发型

PDF
TL;DR本文提出了一种利用文字或参考图像来对毛发属性进行单独或联合操作的新型毛发编辑交互模式，通过在共享嵌入空间中编码图像和文本条件并利用 Contrastive Language-Image Pre-Training（CLIP）模型的强大图像文本表示能力提出了一种统一的、高质量的毛发编辑框架。
hair editingcomputer visiongraphicsclipimage text representation
发现论文，激发创造
  • HairCLIPv2：通过代理特征融合统一发型编辑

    HairCLIPv2 通过将所有的头发编辑任务转化为头发转移任务，并在发型或发色特征空间内混合相应的代理特征，实现了基于文本描述或参考图像的头发编辑，同时支持精细的用户交互模式，提供更好的无关属性保持和视觉自然性。

    Oct, 2023

  • E4C: 通过高效的 CLIP 引导提升基于文本的图像编辑的可编辑性

    通过提出名为 E4C 的零样本图像编辑方法，我们在保留源图像内容的同时，通过推理阶段优化来显式增强可编辑性和文本对齐，实现了有效解决现有方法中存在的文本对齐问题，并在广泛的编辑任务中表现良好。

    Mar, 2024

  • CLIP 引导下的 StyleGAN 反演方法用于文本驱动的真实图像编辑

    本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

    Jul, 2023

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • 一种鲁棒的文本驱动图像编辑方法：自适应探索 StyleGAN 和 CLIP 潜空间中的方向

    我们提出了一种使用 SVM 在 StyleGAN 和 CLIP 空间自适应构建编辑方向的方法，将大规模图像语料库中与文本指令相似的图像通过 CLIP 相似性检索，用 SVM 训练正负图像分类器将编辑方向表示为 CLIP 空间中的法向量，并验证其性能与 StyleCLIP 基准一致，而且不会增加计算时间。

    Apr, 2023

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • 通过 CLIP 实现反事实图像处理

    通过 Contrastive-Language-Image- Pretraining (CLIP) 进行对抗操作，利用预定义的 CLIP 空间方向指导编辑，并将文本嵌入显式地转换为潜在空间，以实现准确的编码和编辑。

    Jul, 2022

  • 使用 CLIP 潜变量的分层文本条件图像生成

    提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

    Apr, 2022