当联邦学习遇到预训练语言模型的参数高效调整方法

Dec, 2022

当联邦学习遇到预训练语言模型的参数高效调整方法

When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods

Zhuo Zhang, Yuanhang Yang, Yong Dai, Lizhen Qu, Zenglin Xu

TL;DR本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Abstract

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning →

federated learning natural language processing pre-trained language models parameter-efficient tuning data heterogeneity

发现论文，激发创造

具有参数高效的提示调整和自适应优化的大规模语言模型联合学习

FedPepTAO 是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。

Oct, 2023

FedBPT: 大型语言模型的高效联邦式黑盒提示调整

该论文介绍了一种名为 Federated Black-box Prompt Tuning (FedBPT) 的框架，通过优化提示语并利用无梯度的优化方法，实现了在保护隐私的前提下，减少模型参数交互、提升通信效率、降低计算和存储成本，从而有效地进行预训练语言模型的细调。

Oct, 2023

以通信成本不超过 18 千字节的方式对数十亿级语言模型进行联邦全参数调整

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

Aug, 2022

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

Delta 调参：针对预训练语言模型的参数高效方法的全面研究

本文首先正式描述了 delta tuning 的问题，然后全面审查了最近的 delta tuning 方法，并提出了一个统一的分类标准，将现有的 delta tuning 方法分为三组：基于加法、基于规范和基于重新参数化的方法。最后，我们对代表性方法进行了全面的实验研究，100 多个 NLP 任务的结果表明了不同方法的综合表现比较。

Mar, 2022

重新审视参数高效调整：我们已经到达目标了吗？

本文对参数节省调整方法（PETuning）的训练和评估进行了首次全面调查。研究发现当前 PETuning 研究中存在问题的验证和测试方法，以及 PETuning 方法的不稳定性，导致结论不可靠。当在真正公平的评估协议下进行比较时，PETuning 无法产生一致的竞争性表现，而在中高资源设置中细调仍然是表现最佳的方法。本文深入探讨了 PETuning 方法的不稳定性原因，观察到可训练参数数量和训练迭代次数是两个主要因素：减少可训练参数和延长训练迭代次数可能会导致 PETuning 方法的稳定性更高。

Feb, 2022

利润：联邦提示调优中个性化和鲁棒性权衡的基准化

在联邦学习中，通过有限的本地更新和计算限制，对大型语言模型进行 FEFT（参数高效微调）时，需要平衡个性化和鲁棒性之间的权衡，研究结果表明采用小学习速率和许多局部训练轮次进行个性化时，联邦训练的提示可以在很大程度上保持鲁棒性。

Oct, 2023

FedTune：使用预训练 Transformer 进行高效联邦微调的深入探究

本文研究了如何有效地在联邦学习中使用预训练 Transformer 模型及其微调方法，实验结果表明，微调模型的偏置项是最好的策略，并且使用视觉 - 语言模型会比纯视觉模型的性能更好，且能提高模型精度并减少过拟合问题。

Nov, 2022

SLoRA：联邦参数高效微调语言模型

本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

Aug, 2023