Nov, 2023

Tied-Lora: 提升 Lora 的参数效率通过权重绑定

PDF
TL;DR我们提出了 Tied-LoRA，这是一个简单的范例，利用权重绑定和选择性训练来进一步提高 Low-rank 适应（LoRA）方法的参数效率。我们的研究包括将可行的参数训练 / 冻结与权重绑定相结合，以寻找性能和可训练参数数量之间的最佳平衡。通过涵盖各种任务和两个基本语言模型的实验，我们提供了分析，揭示了效率和性能之间的权衡。我们的实验发现了一种特定的 Tied-LoRA 配置，通过仅使用标准 LoRA 方法所使用参数的 13％，在几个任务上表现出可比较的性能。
发现论文，激发创造
  • 解码低秩适配器中的全球协同效应

    我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

    Jun, 2024

  • SuperLoRA: 多层注意力模块参数高效统一适应

    提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

    Mar, 2024

  • IncreLoRA：增量参数分配方法用于参数高效微调

    提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

    Aug, 2023

  • 基于输出评估的高效 LoRA 参数剪枝技术

    通过分析 LoRA 的输出来评估参数的重要性，我们提出了 LoRA-drop 方法，对于重要层保留原有参数，而对其他层则共享同一组参数。大量的 NLU 和 NLG 任务实验证明了 LoRA-drop 的有效性。

    Feb, 2024

  • LoRA 学习更少，遗忘更少

    通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和 dropout 提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型 LoRA 配置的秩高 10-100 倍，这可能解释了一些报告中的差距。最后，我们提出了在使用 LoRA 进行精调时的最佳实践建议。

    May, 2024

  • 参数高效技术与完全微调之间的比较：多语言新闻文章分类案例研究

    适配器和低秩适应（LoRA）是旨在使语言模型训练更加高效的参数节约微调技术。本研究通过调查这些技术在多语言文本分类任务中（流派、框架和说服技巧检测；具有不同输入长度、预测类别数量和分类难度；其中一些任务数据有限）与全面微调相比，对分类性能和计算成本的影响，补充了现有研究。此外，我们对不同训练场景（在原始多语言数据上训练；在英文翻译上训练；以及在部分仅英文数据上）和不同语言进行了彻底分析，为参数节约微调技术的适用性，特别是对复杂的多语言和多标签分类任务提供了有价值的见解。

    Aug, 2023

  • PeriodicLoRA: 打破 LoRA 优化中的低秩瓶颈

    本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

    Feb, 2024

  • 一站式：通用 LoRA 用于参数高效微调

    GLoRA 是一种用于通用参数节约的微调任务的高级方法。它使用广义提示模块来优化预训练模型权重和调整中间激活，并通过采用可伸缩的、模块化的逐层结构搜索来促进高效参数适应，从而实现强大的转移学习、少样本学习和领域泛化能力。

    Jun, 2023

  • LoRA 链：通过剩余学习对语言模型进行高效微调

    通过梯度投影方法，我们提出了一种新的迭代优化框架 COLA，通过将学习的链式 LoRA 模块与预训练的语言模型参数进行融合，并为新生成的 LoRA 模块重新初始化优化过程，从而在无需额外的计算和内存成本的情况下弥合了 LoRA 和完全参数微调之间的差距。

    Jan, 2024

  • Trans-LoRA: 迈向无数据条件下的可转移参数高效微调

    通过使用合成数据集，我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型，这项方法能够在不同的基准模型族之间，甚至不同的参数优化方法之间，在各种任务上实现低秩适配器的转移。

    May, 2024