CVPRMay, 2024

TriLoRA：在文本到图像生成中集成 SVD 的高级风格个性化

PDF
TL;DR综合奇异值分解（Singular Value Decomposition）与低秩适应（Low-Rank Adaptation）参数更新策略，提高图像生成模型的微调效率和输出质量，改善模型的泛化能力和创造性灵活性，同时在受限资源条件下保持良好性能。
deep learningimage generation modelsstable diffusionsingular value decompositionlow-rank adaptation
发现论文，激发创造
  • 分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

    个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

    Mar, 2024

  • LoRA-XS：低秩适应与极小参数

    介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。

    May, 2024

  • DyLoRA: 使用动态无搜索低秩适应进行参数高效微调预训练模型

    本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。

    Oct, 2022

  • MultiLoRA: 提升多任务学习效果的 LoRA 民主化

    提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

    Nov, 2023

  • 低秩重缩放视觉转换器微调：一种残差设计方法

    利用奇异值分解对预训练参数矩阵进行精细调整的高效参数微调方法提供了对现有方法调整动态的洞察，通过残差设计确保新参数不会过度偏离预训练模型，实验结果表明，这种方法在各种下游图像分类任务中实现了竞争性的性能，并且保持了可比较的新参数。

    Mar, 2024

  • 自适应预算分配用于参数高效微调

    提出 AdaLoRA 方法，以自适应方式在权重矩阵之间分配参数预算，以优化 NLP 的预先训练模型的参数更新问题，在多个自然语言处理任务中表现出显着优势。

    Mar, 2023

  • StyleInject：文本到图像扩散模型的参数高效调优

    通过引入 StyleInject，一种针对文本到图像模型的特殊微调方法，以对抗传统的 LoRA 方法在图像生成方面的不足，我们能够显著减小对原始模型的文本 - 图像对齐能力的影响，同时能够在转移学习中灵活地适应不同风格，通过大量实验证明 StyleInject 在文本 - 图像语义一致性和人工评估方面超越传统方法，并在参数效率上有所提升。

    Jan, 2024

  • 图像生成的多 LoRA 组合

    通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

    Feb, 2024

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • LCM-LoRA：一种通用的稳定扩散加速模块

    通过将 LoRA 蒸馏应用于包括 SD-V1.5、SSD-1B 和 SDXL 的稳定扩散模型，扩展了潜在一致性模型 (LCMs) 的潜力，减少内存消耗，提高图像生成质量，并将通过 LCM 蒸馏得到的 LoRA 参数作为稳定扩散加速模块命名为 LCM-LoRA，该模块可以直接插入各种经过微调的稳定扩散模型或 LoRAs 中，从而成为多样的图像生成任务中可广泛应用的加速器。

    Nov, 2023