Oct, 2024

如何持续适应文本到图像扩散模型以实现灵活定制？

HTML
PDF
TL;DR本研究针对现有定制扩散模型（CDMs）在个性化概念固定和遗忘问题上的不足，提出了一种新颖的概念增量文本到图像扩散模型（CIDM）。通过引入概念巩固损失和弹性权重聚合模块，该模型有效解决了旧概念遗忘和新概念定制任务学习的问题，实验证明CIDM在性能上超越了现有模型。
发现论文，激发创造
  • 文本到图像扩散的多概念自定义

    本文介绍了一种基于Custom Diffusion的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

    Dec, 2022

  • Continual Diffusion：使用C-LoRA实现文本到图像的持续个性化

    本研究提出了一种新的方法C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • 使用定制扩散模型进行文本引导的图像编辑

    该研究提出了一种名为Custom-Edit的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

    May, 2023

  • 创造你的世界：终身文本生成图像

    通过L2DM框架，本文研究了文本到图像生成模型中的知识遗忘和语义忽视问题，通过任务感知内存增强模块、弹性概念精馏模块、概念关注艺术家模块和正交关注模块，生成更准确、更忠实的图像。

    Sep, 2023

  • CatVersion: 基于扩散的文本图像个性化的连接嵌入

    通过CatVersion方法，在扩散模型的文本编码器的特征密集空间上连接嵌入，通过学习个性化概念与其基准类之间的差距来最大限度地保留先前知识，从而实现文本到图像的个性化转换，并利用改进的CLIP图像对齐得分来量化结果，展现出更忠实和更强大的编辑效果。

    Nov, 2023

  • 持续扩散与STAMINA: STack-And-Mask 增量适配器

    我们引入了一种名为STAMINA的新方法，它由低秩注意蒙版适配器和定制的MLP令牌组成，通过用低秩MLP参数化的可学习硬注意蒙版来增强LoRA在顺序概念学习中的鲁棒微调性能，从而实现精确、可扩展的稀疏适应学习。我们展示了STAMINA在50个概念基准测试中超越了先前最先进的文本到图像连续定制设置，在地标和人脸上没有存储的重播数据。此外，我们还将我们的方法扩展到图像分类的持续学习设置中，证明了我们在这一标准基准测试中的卓越性能转化。

    Nov, 2023

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • 挖掘自己的秘密：扩散分类器分数用于文本到图像扩散模型的持续个性化

    本研究解决了用户在连续学习环境中个性化文本到图像扩散模型的挑战，特别是处理多个概念时因存储和隐私问题无法访问以前数据的情况。提出的创新方法利用扩散分类器分数进行正则化，实现了在保留旧概念的同时有效获得新概念的持续个性化。研究结果表明，该方法在多种评估设置下优于当前的最先进方法，实现零存储和参数开销。

    Oct, 2024

  • 低秩持续个性化扩散模型

    本研究解决了现有扩散模型个性化方法在多任务下导致适配器间相互干扰的问题。论文提出了在持续学习场景下对大型扩散模型进行个性化的新方法，通过对比不同的适配器训练方法，发现新的训练策略能够有效减轻知识遗忘。在实验中，所提出的方法表现优于传统的简单持续微调方法。

    Oct, 2024

  • 在多样化背景下学习定制文本到图像的扩散模型

    本研究解决了现有文本到图像定制技术因训练数据过于局限而导致的泛化能力不足的问题。作者提出通过构建丰富的文本提示集来多样化个人概念的上下文，从而显著提高了语义对齐，并提升了生成图像的保真度。该方法不需要架构修改，兼容现有的定制技术，扩展性强。

    Oct, 2024