Oct, 2023

DeltaSpace：面向灵活的文本引导图像编辑的语义对齐特征空间

PDF
TL;DR通过在 CLIP DeltaSpace 中映射 CLIP 视觉特征差异和对应文本描述的 CLIP 文本特征差异，我们提出了 DeltaEdit 框架，实现了灵活的文本引导图像编辑。
text-guided image editingclip deltaspacedeltaeditgenerative modelsflexible text-guided image editing
发现论文，激发创造
  • DeltaEdit: 探索文本无关的训练用于以文本为驱动的图像处理

    本文提出了一个名为 DeltaEdit 的新框架，通过以 CLIP Delta 空间为基础来进行原始图像和目标图像之间的编辑，从而实现了基于文本的图像编辑的零样本推理。

    Mar, 2023

  • 一种鲁棒的文本驱动图像编辑方法：自适应探索 StyleGAN 和 CLIP 潜空间中的方向

    我们提出了一种使用 SVM 在 StyleGAN 和 CLIP 空间自适应构建编辑方向的方法，将大规模图像语料库中与文本指令相似的图像通过 CLIP 相似性检索，用 SVM 训练正负图像分类器将编辑方向表示为 CLIP 空间中的法向量，并验证其性能与 StyleCLIP 基准一致，而且不会增加计算时间。

    Apr, 2023

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • VT-CLIP: 使用视觉引导文本增强视觉语言模型

    提出一种名为 VT-CLIP 的方法来增强 CLIP 模型，它通过可视化引导文本，使文本的特征更适应图片，在多分类任务中表现出很高的效果。

    Dec, 2021

  • SpaText: 控制型图像生成的空间文本表示

    该论文提出了一种使用开放词汇场景控制的文本到图像生成方法 SpaText，基于 CLIP 的空间 - 文本表示方法，通过支持自由形式的自然语言描述的感兴趣区域的分割图来控制场景的布局和不同区域对象的形状。此外，该论文还提供了几种自动评估指标，并使用它们以及 FID 指标和用户研究来评估其方法，在具有自由形式文本场景控制的图像生成方面实现了最先进的结果。

    Nov, 2022

  • TexSliders: 基於 CLIP 空間的擴散式紋理編輯

    应用扩散技术编辑纹理，通过操作 CLIP 图像嵌入来调节扩散生成，无需标注数据即可用自然语言提示进行编辑。

    May, 2024

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • ChatFace: 通过扩散潜空间操作实现聊天引导的真实人脸编辑

    提出了基于扩散模型的文本驱动实际面部图像编辑方法，并通过 ChatFace 交互式系统实现了精确的零样本和多属性操纵。

    May, 2023

  • 缓解差距：研究提升 CLIP 中跨模态对齐的方法

    通过设计 AlignCLIP，本文回答了共享多模态编码器参数空间是否减少模态间隙以及通过内部模态分离是否可以缓解间隙的两个主要问题，并通过大量实验证明了 AlignCLIP 在嵌入的跨模态对齐上取得了显著的改进，从而减少了模态间隙，并在零样本图像分类、零样本多模态检索和零样本语义文本相似性等多个下游评估中保持了性能。

    Jun, 2024

  • CLIP2StyleGAN：无监督提取 StyleGAN 编辑方向

    本文提出一种方法将 StyleGAN 和 CLIP 的预训练潜空间有效链接，从而能够自动从 StyleGAN 中提取语义标注的编辑方向，找到并命名有意义的编辑操作，而不需要任何额外的人类指导

    Dec, 2021