Jul, 2024

大规模模型的参数效率和泛化能力增强：一种正则化和遮蔽低秩适应方法

HTML
PDF
TL;DR通过研究矩阵更新的内在维度，揭示了提高内在维度在降低资源消耗、优化性能方面的潜在好处，并通过正则化和梯度屏蔽方法设计了Regularized and Masked LoRA (RM-LoRA)方法，相对于原始的LoRA方法和其最新变体，在各种开源视觉和语言数据集上实现了卓越的泛化性能。
发现论文，激发创造
  • LoRA: 大型语言模型的低秩适应

    本文提出了一种低秩适应方法（Low-Rank Adaptation，简称LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和GPU内存占用过高的问题。

    Jun, 2021

  • LoRA-FA: 内存高效的大语言模型低秩适应微调

    LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

    Aug, 2023

  • Delta-LoRA：用低秩矩阵的增量微调高秩参数

    本文介绍了Delta-LoRA，这是一种新颖的参数高效的方法，用于微调大型语言模型（LLMs）。与LoRA和其他低秩适应方法相比，Delta-LoRA不仅更新低秩矩阵A和B，还通过利用两个低秩矩阵的乘积的增量将学习传播到预训练权重W，从而有效地解决了低秩矩阵的增量更新对于学习适用于下游任务的表示的不足。此外，由于W的更新不需要计算W的梯度并存储其动量，Delta-LoRA与LoRA具有相当的内存需求和计算成本。大量实验表明，Delta-LoRA明显优于现有的低秩适应方法。我们通过全面的分析进一步支持了这些结果，强调了Delta-LoRA的有效性。

    Sep, 2023

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高LoRA的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • LoRA+：大型模型的高效低秩自适应

    通过设置适当的比率为LoRA适配器矩阵A和B设置不同的学习率，我们提出了一种名为LoRA$+$的算法，解决了LoRA的次优问题同时提高了性能（1-2％改进）和微调速度（最高约2倍速度提升）的问题。

    Feb, 2024

  • LoRA-XS：低秩适应与极小参数

    介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比LoRA和VeRA等最新方法更具参数效率同时保持竞争性能。

    May, 2024

  • 通过慢速级联学习实现富表达和可推广的大规模模型的低秩适应

    LoRA Slow Cascade Learning (LoRASC) is an innovative technique that enhances the expressiveness and generalization capabilities of efficient fine-tuning through a cascaded learning strategy and a slow-fast update mechanism, improving model stability, mitigating overfitting, and enhancing OOD robustness.

    Jul, 2024

  • LoRA-GA：基于梯度近似的低秩适应

    LoRA-GA通过引入一种新的初始化方法，即梯度近似初始化（Low Rank Adaptation with Gradient Approximation），能够在保持效率和性能的同时达到与完全微调相当的收敛速度，进而显著提高模型性能和收敛速度。

    Jul, 2024

  • 大型语言模型的LoRA调查

    对于Low-Rank Adaptation（LoRA），其通过更新神经网络层中的可插拔低秩矩阵来实现参数高效调整，这是最好的效果之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，近年来LoRA引起了广泛关注，并且相关文献数量呈指数增长。有必要对当前LoRA进展进行全面概述。本调查从以下角度对其进展进行分类和审查：（1）改进下游适应性方法以提高LoRA在下游任务上的性能；（2）交叉任务泛化方法将多个LoRA插件混合使用以实现交叉任务泛化；（3）提高计算效率的方法，以提升LoRA的计算效率；（4）在联邦学习中使用LoRA的数据隐私保护方法；（5）应用领域。此外，本调查还讨论了该领域的未来发展方向。

    Jul, 2024

  • LoRA$^2$: 多尺度低秩近似用于大型语言模型微调

    本研究解决了在复杂下游任务中，单一尺度更新参数可能不是最佳选择的问题。通过扩展低秩适应方法（LoRA）到多尺度，提出了LoRA$^2$，并结合正交投影理论和改进的重要性评分算法，显著减少了训练参数数量，提升了适应性和性能。研究结果表明，LoRA$^2$在微调中仅需0.72%的参数，仍能实现与基线相当的性能，展现了其高效性和潜在影响。

    Aug, 2024