Feb, 2024

DiffuseKronA：一种适用于个性化扩散模型的参数高效微调方法

PDF
TL;DRDiffuseKronA 是一种基于 Kronecker 乘积的适应模块，通过显著减少参数数量（与 LoRA-DreamBooth 相比减少 35％，与原始 DreamBooth 相比减少 99.947％）和提高图像合成质量，解决了文本到图像生成模型中遇到的参数效率和超参数敏感性的问题，从而在 T2I 生成建模领域取得了重大进展。
text-to-image generative modelsparameter efficiencydiffusekronahyperparameter sensitivityt2i generative modeling
发现论文，激发创造
  • PaRa: 個性化文本到圖像擴散通過參數等級降低

    PaRa 是一种用于 T2I 模型个性化的参数等级减少方法，通过显式控制扩散模型参数的等级来限制其初始的多样化生成空间为一个小而平衡的目标空间，通过全面实验证明，PaRa 在单 / 多主题生成以及单图像编辑方面相比现有的微调方法具有更好的参数效率（2 倍更少的可学习参数）和更好的目标图像对齐效果。

    Jun, 2024

  • AnimateDiff: 个性化文本图像扩散模型的动画化方法

    通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

    Jul, 2023

  • 使用量化扩散模型进行内存高效个性化

    本文针对大规模的十亿参数扩散模型，探索了细调量化扩散模型的领域，并提出了两种策略以增强个性化、保持提示保真度和图像质量，显著超越基线模型的质量和数量性能。

    Jan, 2024

  • 从 LyCORIS 微调到模型评估的文本到图像自定义导航

    文本到图像生成模型中的关键问题是稳定的扩散和微调方法的系统评估与参数调整，并提供了对微调参数细微影响的重要见解。

    Sep, 2023

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • KOALA：自注意力在潜在扩散模型知识蒸馏中的重要性 —— 用于高效内存和快速图像合成

    通过蒸馏 SDXL 模型的知识，我们提出了一种高效的文本到图像综合的潜在扩散模型，其核心是通过设计有效的 U-Net 和自注意力的知识蒸馏策略，使 KOALA 模型在减小模型尺寸的同时，仍保持良好的生成质量，相较于 SDXL 模型有两倍以上的速度，可以在资源有限的环境中成为一种具有成本效益的替代选择。

    Dec, 2023

  • KronA: 具有 Kronecker 适配器的参数高效调整

    本研究提出一种基于 Kronecker 乘积的适配器模块 KronA 以提高预先训练的语言模型 fine-tuning 的效率，应用于 T5 模型的实验表明，该方法在 GLUE 基准测试中表现优于现有的 Parameter Efficient Tuning 方法。

    Dec, 2022

  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • HiFi Tuner：高保真主题驱动微调扩散模型

    该论文研究了利用预训练的文本到图像扩散模型实现高保真个性化图像生成的进展。通过引入一种创新算法名为 HiFi Tuner 来增强在个性化图像生成过程中对对象外观保持的能力，提出了基于参数高效的微调框架，包括去噪过程和关键性倒转过程。此外，还提出了参考引导生成方法，利用参考图像的关键性倒转来减轻不想要的主题变化和伪影。实验结果表明，通过仅在文本嵌入上进行微调，CLIP-T 得分提高了 3.6 分，DINO 得分提高了 9.6 分，当对所有参数进行微调时，HiFi Tuner 在 CLIP-T 得分上提高了 1.2 分，在 DINO 得分上提高了 1.2 分，达到了新的技术水平。

    Nov, 2023

  • 分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

    个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

    Mar, 2024