May, 2024

无需训练的文本到图像模型编辑

PDF
TL;DR通过在文本编码器的潜在空间中形成概念子空间，我们提出了一种新颖的任务，即无需重新训练即可创建基于特定用户需求的变体，并且通过在这些低维度子空间中投影给定提示的文本嵌入，实现高效的模型定制。这一提议为文本到图像生成器的定制版开启了新的产品差异化、目标功能和定价策略维度，为各个领域和应用开展了一系列定制化的文本到图像模型版本。
training-free editioningtext-to-image modelsconcept subspaceslatent spacecustomized text-to-image model editions
发现论文，激发创造
  • 通过利用文本子空间提高高效个性化文本到图像生成

    我们提出了一种有效的方法来在文本子空间中探索目标嵌入，借鉴了自我表现性特性，并提出了一种有效的选择策略来确定文本子空间的基向量。实验评估表明，所学习的嵌入不仅能够忠实地重构输入图像，还能显著改善其与新的输入文本提示的对齐性。此外，我们观察到在文本子空间中优化能够显著提高对初始词的鲁棒性，从而放宽了用户需要输入最相关初始词的约束。我们的方法为个性化文本到图像生成的更高效的表示学习打开了大门。

    Jun, 2024

  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用 3-5 张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的 “单词”，从而达到自由创造。

    Aug, 2022

  • 多概念 T2I-Zero：仅调整文本嵌入，不涉及其他部分

    通过对预训练文本到图像扩散模型中的文本嵌入进行微调，我们设计了一种低成本的解决方案，实现自然多概念文本到图像生成，并在扩散步骤中不增加附加的训练或推理成本。我们的方法通过收集与最相似的令牌的语义特征来定位贡献，并应用交叉令牌非极大值抑制来避免不同概念之间的特征混合，从而在文本到图像、图像操作和个性化任务中优于以前的方法。

    Oct, 2023

  • 无监督文本到图像生成的变分分布学习

    本文提出了一种基于深度神经网络的文本到图像生成算法，使用预训练的 CLIP 模型和变分推断的方式，优化算法并取得了在无监督和半监督文本图像生成任务下 beat state-of-the-art 的结果。

    Mar, 2023

  • CLIP-PAE: 投影增强嵌入以提取相关特征，以实现可分解、可解释和可控的文本引导图像操纵

    使用 CLIP Projection-Augmentation Embedding（PAE）作为优化目标，以改善文本引导的图像操作的性能。

    Oct, 2022

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • 文本到图像扩散模型中的大规模概念编辑

    我们提出了一种名为 EMCID 的两阶段方法，用于在大规模实际场景中同时解决文本到图像扩散模型生成过时、受版权限制、错误和带有偏见的内容的问题。通过对每个个体概念进行双自对齐损失和扩散噪声预测损失的记忆优化，第一阶段实现了内存优化；第二阶段通过多层闭合模型编辑进行大规模概念编辑。我们还提出了一个名为 ImageNet Concept Editing Benchmark（ICEB）的全面评估基准，用于评估 T2I 模型的大规模概念编辑，包括自由形式提示、大规模概念类别和广泛的评估指标。在我们提出的基准和之前的基准上进行的大量实验表明，EMCID 具有卓越的可扩展性，可以编辑多达 1000 个概念，为在实际应用中快速调整和重新部署 T2I 扩散模型提供了实用方法。

    Mar, 2024

  • 文本定位：为主题驱动的文本到图像生成分解多概念图像

    利用主题驱动的文本到图像扩散模型，用户可以根据少量示例图像来定制模型来处理预训练数据集中不存在的新概念。然而，现有的主题驱动模型主要依赖于单一概念的输入图像，在处理多概念输入图像时面临着目标概念的指定困难。为此，我们引入了一种文本本地化的文本到图像模型（Texual Localization）来处理多概念输入图像。在微调过程中，我们的方法采用了一种新颖的交叉注意力引导方法，分解多个概念，在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接。实验结果表明，在多概念输入图像上，我们的方法在图像保真度和图像文本对齐方面优于或相当于基准模型。与自定义扩散方法相比，我们的方法通过硬引导实现了单一概念生成的 CLIP-I 得分相对提高 7.04％，8.13％，多概念生成的 CLIP-T 得分相对提高 2.22％，5.85％。值得注意的是，我们的方法能够生成与生成图像中目标概念一致的交叉注意力映射，这是现有模型所没有的能力。

    Feb, 2024