Feb, 2024

基础模型中低秩适配器的非对称性

PDF
TL;DR参数高效微调机制及其在神经网络中的隆升模块对称性研究及分析。
parameter-efficient fine-tuninglow-rank adaptation (lora)asymmetry in importanceneural networkinformation-theoretic
发现论文，激发创造
  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为 LoRA 适配器矩阵 A 和 B 设置不同的学习率，我们提出了一种名为 LoRA$+$ 的算法，解决了 LoRA 的次优问题同时提高了性能（1-2％改进）和微调速度（最高约 2 倍速度提升）的问题。

    Feb, 2024

  • 基于批处理低秩方法的基础模型适应

    通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

    Dec, 2023

  • 低秩适应的表达能力

    使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

    Oct, 2023

  • LoRA-FA: 内存高效的大语言模型低秩适应微调

    LoRA-FA 采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了 LoRA。

    Aug, 2023

  • 单个线性层生成任务适应性低秩矩阵

    一个单线性层产生了任务适应的低秩矩阵，此方法在效果上与 LoRA 相当，但可训练参数更少。

    Mar, 2024

  • 基于 Transformer 模型的低秩自适应 (LoRA) 的计算限制

    通过在梯度计算中寻找低秩分解，我们研究了基于变换器模型的低秩适应（LoRA）更新的计算极限，证明了算法加速的可能性，并通过控制 LoRA 更新的计算项，基于 Strong Exponential Time Hypothesis (SETH) 实现了近乎线性的算法。

    Jun, 2024

  • LoTR：低张量秩权重适应

    本文提出了一种新颖的参数高效微调方法 LoTR，通过张量分解的形式对参数进行梯度更新，进而构建每层的低秩适配器。LoTR 在低秩张量表示下对一系列层进行压缩，尤其适用于深度模型，相比于 LoRA 具有更好的参数效率，且核心张量不依赖于原始权重维度，可以变得任意小，可实现极为廉价快速的下游微调。

    Feb, 2024

  • ALoRA: 为大型语言模型调整低秩适应

    通过 AB-LoRA 方法，逐步修剪过多和负面影响的 LoRA 排名，并将修剪后的 LoRA 预算分配给需要更高排名的重要 Transformer 模块，实现了分配低秩适应 (ALoRA) 的灵活下游任务适应方法。实验结果表明，ALoRA 方法在可调参数相当的情况下优于最近的基准模型。

    Mar, 2024

  • 基于矩阵变换的低秩适应（MTLoRA）：一种启发式的参数高效微调方法

    该论文介绍了一种基于大规模预训练语言模型 (LPLMs) 的微调技术，通过矩阵变换的重新参数化方法 (MTLoRA) 在下游任务中提高模型性能，取得了显著的提升。

    Mar, 2024

  • 用于细调的 Rank 稳定化缩放因子及其 LoRA 方法

    通过修改 Low-Rank Adapters 方法中的缩放因子，我们提出了一种称为 rank-stabilized LoRA (rsLoRA) 的方法，可以在训练期间用更多的计算资源来换取更好的 fine-tuning 性能，并且在推理计算成本不变的情况下实现了 fine-tuning 计算性能的折中。

    Nov, 2023