Apr, 2024

FeDeRA: 在联邦学习中利用权重分解实现语言模型的高效微调

PDF
TL;DR基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) 方法相比，FeDeRA 表现出色，训练时间显著缩短。
pre-trained language modelsfederated learningparameter-efficient fine-tuningfederasingular value decomposition
发现论文，激发创造
  • SLoRA：联邦参数高效微调语言模型

    本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

    Aug, 2023

  • 异构语言任务和客户资源下的分布式大型语言模型微调

    FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

    Feb, 2024

  • DLoRA：大型语言模型的分布式参数高效微调解决方案

    通过分布式 PEFT 框架 DLoRA，在云和用户设备之间合作进行参数高效微调并实现卓越准确性和隐私保护。

    Apr, 2024

  • 从 PEFT 到 DEFT：在 Transformer 中减少激活密度的参数高效微调

    本研究提出了一种新的密度损失方法，促进预训练模型中更高的激活稀疏性，从而实现有效的模型自适应。实验证明，使用我们的方法 DEFT 在不降低下游任务性能的情况下，可以在 RoBERTa_Large 上减少激活密度达到 50.72％，在 Flan-T5_XXL（11B）上分别减少编码器密度为 53.19％，解码器密度为 90.60％，相较于使用 GLUE 和 QA（SQuAD）基准的 PEFT。我们还展示 DEFT 可以与量化和修剪模型互补使用。

    Feb, 2024

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • 多任务多语言模型自适应与特征化低秩混合

    针对多种多语言下游任务中，将预训练的大语言模型（LLM）进行调整以适应不同语言的计算成本过高的问题，本研究提出了一种参数高效的微调方法，即 Featurized Low-rank Mixtures（FLix），通过为每个数据集分配独立的低秩权重更新参数，实现了对多样的数据集混合的适应并对未见数据集表现更好。实验证明，FLix 在使用不同训练数据混合的有监督学习和零样本设置中，对多种任务都取得了显著的改进。

    Feb, 2024

  • 隐私保护联邦学习中 LoRA 的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024

  • Context-PEFT: 高效多模态、多任务微调

    提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

    Dec, 2023

  • DP-DyLoRA: 动态低秩适应下，基于变换器的模型在设备上进行差分隐私联邦学习时的微调

    该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。

    May, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023