本论文提出 CLIPDraw 算法，它利用自然语言输入来生成新的绘画。CLIPDraw 不需要任何训练，而是使用预训练的 CLIP 语言 - 图像编码器作为优化相似度的指标，通过矢量笔划生成图像，从而呈现出更简洁的形状。该算法与其他优化方法的综合比较以及其可靠的多样化风格的生成能力被强调，并且其代码可供实验使用。

Jun, 2021

本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

Mar, 2021

通过使用文本输入代替语言风格参考图像的方式，创建一种通用的文本样式转移网络，能够在单次前向传递中对任意文本输入进行图像样式化处理，能够比 CLIPstyler 快约 1000 倍，且消除了一些不必要的图像失真问题，并可选用微调步骤以提高生成图像的质量。

Oct, 2022

本文介绍了一种基于预训练的 CLIP 文本 - 图像嵌入模型和 FCN 语义分割网络的图像风格转移框架，其中 Generative Artisan 解决了 CLIPstyler 的失败情况，并在肖像和包含人物的实景中获得了比 CLIPstyler 更好的定量和定性结果， 使得商业场景如修图图形软件成为可能。

Jul, 2022

提出了一种全新的神经风格迁移框架，使用户能够使用文本描述而非参考图像来实现图像的风格迁移，在实验中证实了通过使用多视图扩充的补丁式文本 - 图像匹配 Loss 来实现对内容图像的样式转移，从而实现了具有语义相似性的现实纹理风格转移。

Dec, 2021

提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

Apr, 2022

本文提出了一种基于自然语言描述的表情可控一镜到底对话头生成方法 TalkCLIP。该方法通过引入 CLIP-based 风格编码器，将自然语言描述映射到口型样式表示中进行对齐，并能够生成受文本描述引导的具有生动面部表情的逼真谈话头。

Apr, 2023

本文提出了一种新的基于文本的图像编辑方法 CLIPInverter，通过在预训练的 GAN 反演网络中集成轻量级文本适配器层，以目标描述的 CLIP 嵌入为条件进行初始反演步骤的条件化，通过使用 CLIP 引导的细化步骤来对结果残留潜在编码进行更正，从而实现了高效稳定地进行多属性更改，因此在各个领域，包括人类脸部，猫和鸟类方面，我们的方法在操作精度和真实度方面均表现优异。

Jul, 2023

通过艺术家所提供图像拼贴和提示信息，设计了一个基于梯度的生成算法来生成高分辨率的图像拼贴，并提供了一个开源工具供创作者使用。

May, 2022

本文提出了一种快速高效的以文本驱动的图像生成和操控方法 ——StyleMC，利用 CLIP 的 loss 和 identity loss 进行图像操控，不需要工程设计，仅需少量文本 prompt 训练即可找到稳定的全局 direction，比之前的方法更加高效

Dec, 2021