Aug, 2024

高效微调大模型的嵌套低秩适应方法（NoRA）

HTML
PDF
TL;DR本文提出了一种新的参数高效微调方法——嵌套低秩适应（NoRA），旨在解决传统低秩适应（LoRA）在微调过程中参数数量过多和未充分利用预训练权重的问题。NoRA通过采用双层嵌套结构和奇异值分解（SVD），显著减少了可调参数数量，并在多项任务评估中表现出相较于LoRA及其变种更优的性能，降低了微调的参数、训练时间和内存使用，同时性能提升了2.2%。
发现论文，激发创造
  • LoRA-FA: 内存高效的大语言模型低秩适应微调

    LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

    Aug, 2023

  • 稀疏低秩的预训练语言模型适应

    在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高LoRA的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA在保留70%参数和训练时间的情况下，能够胜过其他基准模型。

    Nov, 2023

  • LoRA链：通过剩余学习对语言模型进行高效微调

    通过梯度投影方法，我们提出了一种新的迭代优化框架COLA，通过将学习的链式LoRA模块与预训练的语言模型参数进行融合，并为新生成的LoRA模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了LoRA和完全参数微调之间的差距。

    Jan, 2024

  • LoRA-XS：低秩适应与极小参数

    介绍了一种新的参数高效微调方法LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比LoRA和VeRA等最新方法更具参数效率同时保持竞争性能。

    May, 2024

  • LoRA-GA：基于梯度近似的低秩适应

    LoRA-GA通过引入一种新的初始化方法，即梯度近似初始化（Low Rank Adaptation with Gradient Approximation），能够在保持效率和性能的同时达到与完全微调相当的收敛速度，进而显著提高模型性能和收敛速度。

    Jul, 2024

  • SBoRA: 区域权重更新的低秩适应

    引入了标准基LoRA（SBoRA）的新颖参数高效调整方法，通过使用正交标准基向量初始化低秩矩阵之一，实现了区域权重更新和内存高效微调，其在多个微调任务中显示出优越性能。

    Jul, 2024

  • 通过循环卷积实现参数高效的微调

    本研究解决了低秩适应方法（LoRA）在高性能微调中的局限性，尤其是在计算和内存效率方面。提出的循环卷积适应方法（C$^3$A）不仅实现了更高的适应性，还在资源利用上表现优越，实验结果表明其在各种微调任务中持续超越LoRA及其变种。

    Jul, 2024

  • LoRA-Pro：低秩适配器是否得到了适当的优化？

    该研究解决了低秩适配（LoRA）在与完全微调相比时性能不足的问题。通过引入“等效梯度”的新概念，本文优化了LoRA的优化过程，使其在性能上更接近完全微调。实验结果表明，该方法有效缩小了LoRA与完全微调之间的性能差距。

    Jul, 2024

  • 一项初始化的方法：通过解释方差进行微调适应

    本研究针对现有微调方法效率低下的问题，提出了一种新的解释方差适应方法（EVA）。通过数据驱动的方式初始化新权重，EVA显著提升了收敛速度，并在多个任务上实现了最佳的平均得分。这一方法为基础模型的应用提供了更优的微调策略。

    Oct, 2024

  • LoRA与全面微调：等效性的幻觉

    本研究探讨了LoRA与全面微调在训练后模型中权重矩阵的差异，揭示了这两种微调方法的结果并不等效。研究发现，LoRA模型中出现的高排名奇异向量称为“入侵维度”，这些维度在全面微调中并不存在，并且尽管在目标任务上表现相似，LoRA模型在适应多个任务时的稳健性较差。这一发现对理解不同微调方法影响的模型能力具有重要意义。

    Oct, 2024