FedPEAT：移动边缘计算中的联邦学习、参数高效微调和仿真器辅助调整在人工智能基础模型上的融合

Oct, 2023

FedPEAT：移动边缘计算中的联邦学习、参数高效微调和仿真器辅助调整在人工智能基础模型上的融合

FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing

PDF

Terence Jie Chua, Wenhan Yu, Jun Zhao, Kwok-Yan Lam

TL;DR在当前的基础模型时代中，我们介绍了 Emulator-Assisted Tuning (EAT) 和 Parameter-Efficient Fine-Tuning (PEFT) 结合形成的 Parameter-Efficient Emulator-Assisted Tuning (PEAT)，进一步将其扩展为联邦学习的 FedPEAT。FedPEAT 使用适配器、仿真器和 PEFT 进行联邦模型调优，提高了模型的隐私性和内存效率。同时，我们的方法适用于各种神经网络，并利用深度增强学习进行超参数优化。我们在一种特殊的场景中对 FedPEAT 进行了测试，通过服务器参与协作联邦调优的方式展示了其在解决基础模型挑战方面的潜力。

Abstract

The emergence of foundation models, including language and vision models, has reshaped AI's landscape, offering capabilities across various applications. Deploying and fine-tuning these large models, like GPT-3 a

foundation models fine-tuning peat federated learning model privacy

发现论文，激发创造

参数高效微调：跨应用全面分析

评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

Apr, 2024

MEFT：通过稀疏适配器实现内存高效微调

通过使用较大的尺寸但内存高效的适配器，结合语言模型中前馈网络的固有激活稀疏性以及中央处理器内存相对于图形处理器更大的容量，我们提出了一种改进的方法来优化在有限资源下大型语言模型的微调性能。通过将较大尺寸的适配器的参数存储和更新在中央处理器上，并采用类似于专家混合 (MoE) 的架构来减少不必要的中央处理器计算和图形处理器之间的通信量，尤其是在 PCI Express (PCIe) 的有限带宽下，我们的方法可以实现与具有更大内存容量的情况下相媲美的微调结果，即使在较为有限的资源下，如只有 24GB 内存单 GPU 设置下，也能达到可接受的训练效率损失。

Jun, 2024

大型模型的参数高效微调：综合调查

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

参数高效迁移学习在机器翻译中的适用条件

本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果与全模型调整类似的水平，尤其当参数预算为 10％的情况下。但是，当调优参数数量减少时，PEFT 的性能会随之减弱，这一降低幅度取决于语言对的关系，而对于小型数据集，PEFT 的性能优于同样的预训练模型的全模型调整。

May, 2022

预训练视觉模型的参数高效微调：一项调查

规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的 PVMs 达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了 PEFT 的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

Feb, 2024

Light-PEFT: 轻量级参数高效微调通过早期修剪

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

Jun, 2024

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

FedDAT: 一种多模式异构联邦学习中基础模型微调的方法

最近，基础模型在多模态学习方面取得了显著进展。为了解决不同隐私法规导致的数据集中化困难，联邦学习（FL）成为一种有希望的解决方案，可以使多个客户端在不集中本地数据的情况下协同训练神经网络。为了减轻客户端的计算负担和通信开销，之前的工作采用了参数高效调优（PEFT）方法进行 FL。然而，大多数之前的工作都集中在单模态上，并忽视了一种常见现象，即客户端之间存在数据异质性。因此，在本文中，我们提出了一种针对异构多模态 FL 的调优框架，称为 Federated Dual-Adapter Teacher（FedDAT）。具体而言，我们的方法利用了 Dual-Adapter Teacher（DAT）来处理数据异质性，通过正则化客户端本地更新并应用互相知识蒸馏（MKD）实现高效的知识传递。FedDAT 是首个使得基础模型多种异构视觉语言任务能进行有效的分布式调优的方法。为了证明其有效性，我们在四个具有不同数据异质性的多模态 FL 基准上进行了大量实验，结果显示 FedDAT 显著优于现有适用于 FL 的集中 PEFT 方法。

Aug, 2023

X-PEFT：面向极端多个配置的极其参数高效微调

引入 X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了 10000 倍，而在 LaMP 和 GLUE 任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

Context-PEFT: 高效多模态、多任务微调

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023