基于层次贝叶斯的个性化联邦无监督学习

Feb, 2024

基于层次贝叶斯的个性化联邦无监督学习

Hierarchical Bayes Approach to Personalized Federated Unsupervised Learning

Kaan Ozkara, Bruce Huang, Ruida Zhou, Suhas Diggavi

TL;DR我们开启了对个性化无监督学习的系统研究，通过基于层次贝叶斯统计框架的优化准则，开发了一种自适应算法，在使用有限的本地数据和协作信息之间寻找平衡。我们在个性化降维和个性化扩散模型的背景下开发了我们的自适应算法，并对其进行了收敛性分析，揭示了问题参数（例如，异质性，本地样本大小）的依赖关系。我们还为个性化扩散模型开发了一个理论框架，展示了即使在异质性下也能从协作中获益。最后，我们使用合成和真实数据评估了我们提出的算法，展示了通过协作诱发的针对个性化任务的有效样本放大，尽管数据异质性存在。

Abstract

Statistical heterogeneity of clients' local data is an important characteristic in federated learning, motivating personalized algorithms tailored to the local data statistics. Though there has been a plethora of algorithms proposed for personalized supervised learning, discovering the

federated learning personalized unsupervised learning adaptive algorithms dimensionality reduction diffusion models

发现论文，激发创造

个性化联邦学习参数选择的贝叶斯神经网络

提出了一种个性化的联邦学习方法，在神经网络的元素级别进行个性化参数选择，利用贝叶斯神经网络和提供的不确定性来指导参数选择，实验证明该方法在多个真实数据集上优于现有基线模型。

Feb, 2024

基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

May, 2021

联邦学习的个性化技术综述

本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

Mar, 2020

基于特征融合的个性化联邦学习

本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

Jun, 2024

针对统计异质性的个性化联邦学习

联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

Feb, 2024

连接低损耗子空间的个性化联邦学习

本文提出了 SuPerFed 方法，该方法采用模型混合个性化联邦学习方法并在权重空间中引入本地模型和联邦模型之间的显式连接，以提高个性化性能和鲁棒性。通过对多个基准数据集的广泛实验，我们证明了该方法在现实服务中实现了一致的收益。

Sep, 2021

个性化联邦学习中的所需学习内容

个性化联邦学习中的数据异质性是一个重要问题，目前的方法未能根据每个本地客户端的数据特征定制合作方式，导致聚合结果不理想。为解决这一问题，我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed，使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法，将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。

Jan, 2024

因子辅助的个性化异构数据联邦学习优化

Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.

Dec, 2023

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

联邦学习中的个性化改善隐私 - 准确性权衡

研究分布式机器学习系统，并基于修正的随机优化算法实现私人级联学习，在保证局部模型私密性的同时，与全局模型进行协调，提升了准确性和隐私保护的平衡。

Feb, 2022