Jun, 2024

通过动态参数调整彻底改变大型语言模型训练

PDF
TL;DR在大语言模型时代，提高计算资源的有效利用需求变得非常重要。本文基于 LoRA 精调方法，引入了一种新颖的参数高效训练技术，通过频繁改变可训练参数的一部分，提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少，与当前最先进的参数高效算法相当，而且保持了与完全预训练相当的准确性水平。我们提供了理论分析和实证证据来证明我们的方法的有效性。
large language modelsparameter-efficient fine-tuning techniquespre-training phaseparameter-efficient training techniqueefficiency
发现论文，激发创造
  • 参数高效技术与完全微调之间的比较：多语言新闻文章分类案例研究

    适配器和低秩适应（LoRA）是旨在使语言模型训练更加高效的参数节约微调技术。本研究通过调查这些技术在多语言文本分类任务中（流派、框架和说服技巧检测；具有不同输入长度、预测类别数量和分类难度；其中一些任务数据有限）与全面微调相比，对分类性能和计算成本的影响，补充了现有研究。此外，我们对不同训练场景（在原始多语言数据上训练；在英文翻译上训练；以及在部分仅英文数据上）和不同语言进行了彻底分析，为参数节约微调技术的适用性，特别是对复杂的多语言和多标签分类任务提供了有价值的见解。

    Aug, 2023

  • 面向参数高效的迁移学习统一视角

    本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

    Oct, 2021

  • 源代码的参数高效微调变压器

    本文介绍了针对代码的预训练模型参数高效微调的适配器和 LoRA 两种方法，经过四项代码处理任务测试，发现这些高效微调方法在代码理解任务中可以实现可比或更高的性能，但在代码生成任务中性能不如标准的全微调。这些结果强调了在其他领域测试高效微调方法的重要性，并促进了对源代码高效微调的未来研究。

    Dec, 2022

  • 参数高效的多语言摘要：实证研究

    本研究通过使用 Parameter-Efficient Fine-Tuning 中的 Low-Rank Adaptation (LoRA) 探索了复杂且未被充分研究的多语言摘要任务的潜力，研究发现 LoRA 在低数据情况和跨语言转移中表现出色，当模型增大时，LoRA 和完全微调之间的性能差距减小，同时，继续训练 LoRA 获得了最佳的少样本跨语言转移表现。

    Nov, 2023

  • 缩小规模以进行高效参数微调指南

    本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调超大规模语言模型。

    Mar, 2023

  • LoRA-SP：资源高效大语言模型微调的简化参数适应

    利用大型语言模型的计算和存储需求，我们提出了 LoRA-SP (简化的部分参数适应) 方法，它利用 LoRA 框架中的随机半选择性参数冻结来平衡预训练知识的保留和任务特定优化的适应性。通过随机机制，LoRA-SP 确定要更新或冻结的参数，显著减少计算和存储需求，同时不损害模型性能。我们在多个基准自然语言处理任务上评估了 LoRA-SP，展示了它在与传统的全参数微调和其他参数高效技术相比，以较低的资源消耗实现竞争性性能的能力。LoRA-SP 的创新方法不仅有助于在资源有限的环境中部署高级自然语言处理模型，还为有效和高效的模型适应策略开辟了新的研究途径。

    Feb, 2024

  • 基于完整参数和 LoRA 的微调在指令遵循大型语言模型的比较研究

    本研究通过实验比较全参数微调和 LoRA 微调方法，使用 LLaMA 作为基础模型，发现基础模型选择、训练数据集规模、可训练参数数量和模型训练成本都是重要因素。该实验结论可以为训练大型语言模型提供启示，特别是在中文领域，帮助研究人员找到更好的训练成本和模型性能的平衡策略。为了方便本文结果的复现，我们将公开数据集、模型和代码。

    Apr, 2023

  • MAPLE: 多语言大语言模型参数高效微调的评估

    通过参数高效微调能够提高大语言模型的性能，而无需大量的资源和计算。对多语言评估的先前研究表明，英语和其他语言在性能上存在很大差距。此外，开源模型和较大规模的语言模型之间也存在差距。微调是弥合差距、使语言模型更加公平的有效方法。本研究通过对合成多语言指示微调数据上进行 LLaMA-7B 和 Mistral-7B 模型的微调，以评估其对模型在涵盖 23 种语言的五个下游任务上的性能影响。此外，我们还在低秩适应的等级和量化值上进行了实验，以确定它们对下游性能的影响并发现较高的等级和量化值有益于低资源语言。我们发现通过参数高效微调较小的开源模型有时可以弥合这些模型和较大模型性能之间的差距，但对英语性能有所降低。我们还发现微调有时可以提高低资源语言的性能，但在高资源语言上性能可能会下降。

    Jan, 2024

  • PELA: 学习具有低秩近似的参数高效模型

    通过引入中间的预训练阶段，我们提出了一种新方法来增加预训练模型的参数效率，该方法通过低秩逼近来压缩原始的大模型，并设计了特征蒸馏模块和权重扰动正则化模块，以增强低秩模型。这种方法在保持基本架构的最小修改的同时，在所需参数和计算时间方面同时实现了效率，通常将原始参数大小减少 1/3 至 2/3，并降低约 0.6 个性能点。

    Oct, 2023

  • 元学习用于参数高效微调

    本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

    May, 2022