Nov, 2023

CatVersion: 基于扩散的文本图像个性化的连接嵌入

HTML
PDF
TL;DR通过CatVersion方法，在扩散模型的文本编码器的特征密集空间上连接嵌入，通过学习个性化概念与其基准类之间的差距来最大限度地保留先前知识，从而实现文本到图像的个性化转换，并利用改进的CLIP图像对齐得分来量化结果，展现出更忠实和更强大的编辑效果。
发现论文，激发创造
  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用3-5张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的“单词”，从而达到自由创造。

    Aug, 2022

  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于Custom Diffusion的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解CLIP嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • Gen4Gen：生成式多概念组合的生成数据管道

    该研究介绍了一种基于Gen4Gen的半自动数据集创建流程，并提出了一种综合指标以更好地量化多概念个性化文本到图像扩散方法的性能。研究通过改善数据质量和提示策略，将实现多概念个性化图像生成质量的显著提高，而无需对模型架构或训练算法进行任何修改。

    Feb, 2024

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • AttnDreamBooth: 面向文本对齐的个性化文本与图像生成

    该研究针对文本到图像个性化合成过程中的限制性问题，分析了两种主要技术（文本反转和DreamBooth）的不足之处，并引入了一种名为AttnDreamBooth的新方法来解决这些问题，通过在不同的训练阶段分别学习嵌入对齐、注意力图和主体身份。同时，采用交叉注意力图正则化项来增强对注意力图的学习，相较于基准方法，我们的方法在保护身份信息和文本对齐方面取得了显著改进。

    Jun, 2024

  • PaRa: 個性化文本到圖像擴散通過參數等級降低

    PaRa是一种用于T2I模型个性化的参数等级减少方法，通过显式控制扩散模型参数的等级来限制其初始的多样化生成空间为一个小而平衡的目标空间，通过全面实验证明，PaRa在单/多主题生成以及单图像编辑方面相比现有的微调方法具有更好的参数效率（2倍更少的可学习参数）和更好的目标图像对齐效果。

    Jun, 2024

  • 通过利用文本子空间提高高效个性化文本到图像生成

    我们提出了一种有效的方法来在文本子空间中探索目标嵌入，借鉴了自我表现性特性，并提出了一种有效的选择策略来确定文本子空间的基向量。实验评估表明，所学习的嵌入不仅能够忠实地重构输入图像，还能显著改善其与新的输入文本提示的对齐性。此外，我们观察到在文本子空间中优化能够显著提高对初始词的鲁棒性，从而放宽了用户需要输入最相关初始词的约束。我们的方法为个性化文本到图像生成的更高效的表示学习打开了大门。

    Jun, 2024

  • CoRe：用于文本到图像个性化的上下文正则化文本嵌入学习

    本研究解决了文本到图像个性化中身份保护与文本对齐之间的矛盾。我们提出了上下文正则化（CoRe），通过优化文本编码器输入的嵌入空间，改善新概念的文本嵌入学习。实验结果表明，CoRe在身份保护和文本对齐方面优于多个基准方法，为图像合成提供了更准确的语义理解。

    Aug, 2024

  • TextBoost: 通过微调文本编码器实现一次性个性化的文本到图像模型

    本研究解决了文本到图像模型在仅使用单个参考图像时，个性化生成效果下降的问题。通过提出选择性微调策略和三种关键技术，显著提升了个性化性能，研究结果表明该方法能够高效生成高质量、多样化的图像，且大幅降低存储和内存需求。

    Sep, 2024