Jun, 2024

通过利用文本子空间提高高效个性化文本到图像生成

PDF
TL;DR我们提出了一种有效的方法来在文本子空间中探索目标嵌入，借鉴了自我表现性特性，并提出了一种有效的选择策略来确定文本子空间的基向量。实验评估表明，所学习的嵌入不仅能够忠实地重构输入图像，还能显著改善其与新的输入文本提示的对齐性。此外，我们观察到在文本子空间中优化能够显著提高对初始词的鲁棒性，从而放宽了用户需要输入最相关初始词的约束。我们的方法为个性化文本到图像生成的更高效的表示学习打开了大门。
personalized text-to-image generationreconstruction tasktextual prompttextual subspacerepresentation learning
发现论文，激发创造
  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用 3-5 张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的 “单词”，从而达到自由创造。

    Aug, 2022

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • 无需训练的文本到图像模型编辑

    通过在文本编码器的潜在空间中形成概念子空间，我们提出了一种新颖的任务，即无需重新训练即可创建基于特定用户需求的变体，并且通过在这些低维度子空间中投影给定提示的文本嵌入，实现高效的模型定制。这一提议为文本到图像生成器的定制版开启了新的产品差异化、目标功能和定价策略维度，为各个领域和应用开展了一系列定制化的文本到图像模型版本。

    May, 2024

  • 文本到图像个性化的神经时空表示

    本文探讨了一种依赖于时间和空间 (U-Net 层) 去噪的新型文本调节空间，并通过优化小型神经映射器，将整个个性化概念表示为学习的映射器的参数，从而在不调整生成模型本身任何参数的情况下，用单个训练模型控制构成、编辑和可编辑性，从而提高了收敛性和视觉保真度。

    May, 2023

  • 揭示文本 - 图像扩散模型中的文本嵌入

    本文研究了文本嵌入空间，发现每个词的嵌入和其上下文相关性对学习无关的图像编辑具有重要意义，并揭示文本嵌入本身具有多样的语义潜力，通过奇异值分解来进一步揭示这一特性，这些发现对图像编辑和语义发现具有实际应用价值。

    Apr, 2024

  • 嵌入空间中的命名概念

    本文提出了一种通过生成特定概念并将其用于多个图像来提高控制能力的方法，通过仅使用文本就可以生成概念而无需从输入数据复制可视化，并通过一组比较发现我们的方法是超越仅使用文本提示的重要改进。

    Mar, 2023

  • 视觉和文本嵌入的零样本文本到图像定制的协调

    通过引入正交视觉嵌入并利用自我注意力交换，我们提出了一种高效维护主题身份的方法，以解决文本到图像模型中遭遇的问题，并展示了该方法的效果和鲁棒性。

    Mar, 2024

  • 通过图像文本转换实现更好文本理解

    本文探讨了将视觉信息与文本表示相结合的模型，通过 comprehensive ablation studies，我们提出了一种简单但表现突出的架构，相对于其他的 multimodal approaches，在若干基准测试中取得了更好的成绩。同时在使用数量级更少的数据时，也改进了与图像相关的文本数据集的最新成果。

    May, 2017

  • 个性化的改写提示增强文本生成图像

    我们提出了一种将大型预训练模型视为搜索引擎的新视角，从而使以前用于提高搜索引擎性能的技术得以重新应用。通过个性化查询重写技术的示例，我们在文本到图像生成领域使用了这种视角。尽管该领域取得了显著进展，但仍然很难创建与个体用户的期望和偏好密切对齐的个性化视觉表示。这个过程需要用户用对模型理解且准确捕捉他们的愿景的文字来表达，这对许多用户来说很困难。在本文中，我们通过利用用户与系统的历史互动来提高用户提示的质量来解决这个挑战。我们提出了一种基于具有超过 300k 个提示的 3115 个用户的新大规模文本到图像数据集的用户提示重写方法。我们的重写模型增强了用户提示与其预期视觉输出之间的表达和对齐。实验证明了我们方法的优越性，这在我们的新离线评估方法和在线测试中得到了证明。我们的方法为应用更多搜索引擎技术来构建真正个性化的大型预训练模型打开了令人兴奋的可能性。

    Oct, 2023

  • 自适应文本到图像生成的提示扩展

    本论文介绍了一种 Prompt Expansion 框架，它帮助用户生成高质量多样化的图像，通过优化扩展了的文本提示，以便生成更吸引人的图像，并通过人类评估研究证明，使用 Prompt Expansion 生成的图像比基准方法生成的图像更美观多样。

    Dec, 2023