Feb, 2024

LoRETTA：用于大型语言模型超低参数微调的低秩经济张量列车适应

PDF
TL;DRLoRETTA 是一个超参数效率的框架，通过张量列车分解显著减少可训练参数，提供高性能轻量化的支持 LLMs 微调的方法。通过权重参数化和小张量因子来实现微调，LoRETTA 在 LLaMA-2-7B 模型上可实现与大多数广泛使用的 PEFT 方法相近或更好的性能，同时参数少达到高达 100 倍。实验证明该方法有效提高训练效率，具有更好的多任务学习性能和抗过拟合能力。插拔式代码将基于 Huggingface 框架和 PEFT 库发布。
parameter-efficient fine-tuninglorettatensor-train decompositionllmspeft methods
发现论文，激发创造
  • 用于参数高效微调的 Mini-Ensemble 低秩适配器

    MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

    Feb, 2024

  • LLM-Adapters：用于大型语言模型参数高效微调的适配器家族

    本文提出 LLMs-Adapters 框架，利用少量可调参数对小型 LLMs 进行 fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将 adapter-based PEFT 应用于小型 LLMs（7B）可以取得与强大的 LLMs（175B）相似甚至更优秀的性能，旨在推进 adapter-based PEFT 的研究，为 LM 大规模的 fine-tuning 提供了有价值的工具和框架。

    Apr, 2023

  • 代码大语言模型参数高效方法的实证研究及其向 R 的知识转移

    通过实证研究 PEFT 方法（LoRA 和 Compacter）在 CodeT5 和 CodeLlama 上的表现，评估它们相较于完全微调模型的性能、是否可用于从自然语言模型到代码的知识转移，以及它们适应学习知识到一种未见语言的能力。我们的研究目标是研究 R 语言，其具有广泛的社区，而 LLMs 的适应性和较低的计算成本使其能够在缺乏大量计算资源的情况下使用，此外，研究 R 语言为使用 LLMs 于其他语言提供了新机会，我们期望得出 PEFT 方法在 R 语言的代码 LLMs 上的能力以及改进领域。

    Mar, 2024

  • 通过表征编辑提高微调中的参数效率

    Parameter Efficient Fine-Tuning (PEFT) 方法和 Representation EDiting (RED) 方法是解决神经模型微调中的可调超参数选择和可训练参数数量减少的关键研究领域和主题，通过对多种模型进行广泛实验，证明了 RED 方法在大型神经模型中的高效性和优越性。

    Feb, 2024

  • Context-PEFT: 高效多模态、多任务微调

    提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

    Dec, 2023

  • 低资源语言翻译的参数高效微调解锁

    参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

    Apr, 2024

  • 大语言模型的贝叶斯低秩适应

    使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

    Aug, 2023

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023

  • LLaMA 临床领域参数高效微调

    通过有选择地微调部分参数以降低计算需求，提出了一种在临床领域中适应预训练语言模型的方法，并通过与 Downstream LLaMA-LoRA 相结合，在多个临床预测任务上取得了最先进的 AUROC 得分提升，并在大规模多标签分类任务中观察到 6-9% 的 AUROC 得分改善。

    Jul, 2023

  • 大规模效率：探究微型语言模型在临床任务中的性能

    对不同规模的模型以及临床决策任务的适用性进行研究，揭示大型语言模型的效果与 Parameter Efficient Fine-tuning 方法的关系，发现 LoRA 方法在各项任务和模型规模下都能保持较高的性能，专用模型在速度和训练成本上具有优越性，与大型基础语言模型相比效果更好，同时探讨了领域特定预训练与 PEFT 方法和模型规模之间的相互影响，以及提供最佳效率与性能平衡的因素。

    Feb, 2024