透过空中联邦元学习的预训练和个性化微调：收敛性与泛化性的权衡

Jun, 2024

透过空中联邦元学习的预训练和个性化微调：收敛性与泛化性的权衡

Pre-Training and Personalized Fine-Tuning via Over-the-Air Federated Meta-Learning: Convergence-Generalization Trade-Offs

PDF

Haifeng Wen, Hong Xing, Osvaldo Simeone

TL;DR本文研究了以元学习为基础的个性化联邦学习在无线环境中的泛化性能，通过研究信道受损对泛化和收敛之间的权衡关系，通过大量的数值实验证实了该理论。

Abstract

For modern artificial intelligence (AI) applications such as large language models (LLMs), the training paradigm has recently shifted to pre-training followed by fine-tuning. Furthermore, owing to dwindling open

artificial intelligence large language models pre-training federated learning meta-learning

发现论文，激发创造

通过模型不可知元学习提高联邦学习个性化能力

本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明，联邦平均算法可以被解释为一种元学习算法，并且通过细致的微调，可以得到更准确、更易于个性化的全局模型。

Sep, 2019

FedL2P：个性化联邦学习

该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

Oct, 2023

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

非无线和无线网络上的联邦和元学习：教程

本文综述了联邦学习、元学习和联邦元学习在非无线与无线网络中的设计、优化和应用，并分析了这些学习算法之间的关系以及它们在实际应用中的优缺点。

Oct, 2022

当联邦学习遇到预训练语言模型的参数高效调整方法

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

Meta-FL: 面向异构模型聚合的新型元学习框架在联邦学习中的优化

元联邦学习通过优化的元汇聚器导航异构模型更新的复杂性，利用元特征增强了全局模型的性能，从而保证了对每个本地模型准确性的个性化汇聚。在四个与医疗相关的数据集上进行的实证评估显示，Meta-FL 框架具有适应性、效率、可扩展性和鲁棒性，优于传统的联邦学习方法。此外，Meta-FL 在较少的通信轮次中实现了优越的准确性，并且能够在不影响性能的情况下管理不断扩大的联邦网络，显示出卓越的效率和可扩展性。

Jun, 2024

个性化联邦学习基于堆叠

使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

Apr, 2024

自我感知个性化联邦学习

本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

Apr, 2022

走向个性化联邦学习

本综述论文研究了个性化联邦学习（PFL）的领域，着重解决异构数据带来的基本问题，通过分类和分析 PFL 技术，提出其关键挑战和机会，并展望了未来研究的发展方向。

Mar, 2021

元学习以提升预训练

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021