Feb, 2024

Flora: 低秩适配器是隐形的梯度压缩器

PDF
TL;DR提出了低秩适应（LoRA）方法，通过训练较少的参数来减少优化状态的存储消耗，但会限制整体权重更新矩阵为低秩，本研究基于观察到低秩适应可以用随机投影来近似，因此提出了 Flora 方法，通过重新采样投影矩阵实现高秩更新，同时享受优化状态的次线性空间复杂度，实验证明了我们方法的有效性。
neural networkslow-rank adaptationoptimization statesflorasublinear space complexity
发现论文，激发创造
  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • FLoCoRA：具有低秩适应性的联邦学习压缩

    在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。

    Jun, 2024

  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

    Oct, 2023

  • PC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应

    逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。

    Jun, 2024

  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。

    Feb, 2024

  • FLORA：用于视觉 Transformer 的细粒度低秩架构搜索

    通过引入基于 NAS 的自动化框架 FLORA，本论文提出了一种用于降低计算负载的低秩逼近方法，通过低秩感知的候选过滤策略和低秩特定训练方法，实现了更精细的低秩配置，相比简单均匀配置可额外减少 33% 的操作次数，同时还展示了与压缩技术和紧凑混合结构整合可达到更高的 FLOPs 减少率。

    Nov, 2023

  • 基于 Transformer 模型的低秩自适应 (LoRA) 的计算限制

    通过在梯度计算中寻找低秩分解，我们研究了基于变换器模型的低秩适应（LoRA）更新的计算极限，证明了算法加速的可能性，并通过控制 LoRA 更新的计算项，基于 Strong Exponential Time Hypothesis (SETH) 实现了近乎线性的算法。

    Jun, 2024

  • FLoRA: N 维低秩核空间

    本文介绍了针对不同维参数空间的一种广义参数高效微调框架 FLoRA，通过 Tucker 分解在保持与原始空间一致的拓扑结构的低秩核空间上建模变化，并将相关权重用于重构原始空间中的变化，从而有效地保留原始 N 维参数空间变化的结构完整性，同时通过低秩张量分解对其进行分解。大量在计算机视觉、自然语言处理和多模态任务上的实验验证了 FLoRA 的有效性。

    May, 2024

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • 隐私保护联邦学习中 LoRA 的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024