Jun, 2021

通过语言 - 图像编码器探索文本到图像合成

PDF
TL;DR本论文提出 CLIPDraw 算法，它利用自然语言输入来生成新的绘画。CLIPDraw 不需要任何训练，而是使用预训练的 CLIP 语言 - 图像编码器作为优化相似度的指标，通过矢量笔划生成图像，从而呈现出更简洁的形状。该算法与其他优化方法的综合比较以及其可靠的多样化风格的生成能力被强调，并且其代码可供实验使用。
发现论文，激发创造
  • StyleCLIPDraw：将内容和风格融合于文本转图像中

    提出了一种名为 StyleCLIPDraw 的方法，用于根据文本描述和指定样本图片生成符合特定风格的图像，该方法改进了当前机器学习技术在图像生成方面的不足，并强调了图像的艺术风格对人们的重要性。

    Feb, 2022

  • CLIPDrawX：基于原始元素的文本引导草图合成解释

    使用简单的基本图形形状（如直线和圆）的线性变换，通过 CLIPDrawX 算法提供了比现有方法更好的 CLIP 文本嵌入可视化，简化了数学形式。

    Dec, 2023

  • CLIP 也可以理解文本：通过提示进行短语理解

    本篇研究发现，使用自然语言的方式来训练 Contrastive Language-Image Pretraining (CLIP) 的文本编码器，能够更好地实现短语的理解，甚至能够在正确的提示下，显著优于流行的语言模型，有效地提升实体聚类和扩展任务的效果。

    Oct, 2022

  • 通过联合创作绘画和交互解释 CLIP

    本文分析了一个视觉档案，其中互动机器人艺术装置根据观众讲述的梦境生成图像，通过 CLIPdraw 深度学习模型解释和转换。结果表明四个概念分组描述和解释了 CLIP 生成的结果：清晰的概念，文本转图像，不确定和混乱以及翻译问题。最终，文章认为所提出的分组支持对神经模型的更好理解。

    Jun, 2023

  • CLIP-GEN: 使用 CLIP 进行无需语言条件的文本 - 图像生成训练

    本文提出了一种自监督学习策略 CLIP-GEN 用于通用的文本生成图像，只需要通用领域的未标记图像。我们使用来自 CLIP 的语言 - 图像先验知识，并使用自编码器和自回归变换器将图像转换为文本标记，并基于这里从文本编码器中提取的文本嵌入生成连贯的图像标记。定量和定性评估表明本方法在图像质量方面明显优于基于优化的文本到图像方法，而且不会影响文本与图像的匹配。

    Mar, 2022

  • CLIP-CLOP: CLIP 引导的拼贴和拼贴照片

    通过艺术家所提供图像拼贴和提示信息，设计了一个基于梯度的生成算法来生成高分辨率的图像拼贴，并提供了一个开源工具供创作者使用。

    May, 2022

  • 使用 CLIP 的半监督图像字幕生成

    本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

    Jun, 2023

  • 用两步重述细调 CLIP 文本编码器

    通过引入一个简单的微调方法，我们提出了一种改进 CLIP 模型对于释义的表征的方法，该方法使用大规模语言模型从 Web 规模的图像字幕中自动创建两类释义，并在固定图像编码器的同时微调 CLIP 文本编码器。我们的模型 ParaCLIP 在各种任务中都显示出与基准 CLIP 模型相比的显著改进，包括释义检索、Visual Genome 关系和属性，以及七个语义文本相似度任务。

    Feb, 2024

  • 使用 CLIP 潜变量的分层文本条件图像生成

    提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

    Apr, 2022

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021