- 通过加法和低秩分解在联邦学习中解耦通用和个性化知识
FedDecomp 是一种简单而有效的个性化联邦学习范式,通过参数加法分解来解决数据异构性问题,从而更彻底地解耦共享和个性化知识,实现了比参数划分方法更好的性能。
- 基于特征融合的个性化联邦学习
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦 - 个性化联邦学习视角下的低资源机器翻译
基于个性化联邦学习算法 MeritFed 的新方法,适用于具有异构数据的自然语言任务,在低资源机器翻译任务中,我们使用来自大规模多语言机器翻译共享任务(小轨道 2)的数据集和芬乌格里亚语族多语言基准测试中子集的萨米语进行评估。除了其有效性外 - 针对个性化联邦学习的客户正则化和类别分布聚合
个性化联邦学习中,通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法,即类别级联联邦平均(cwFedAVG),该方法在服务器端按类别执行联邦平均(FedAVG),创建多个每个类别的全局模型。每个本地模型 - 个性化联邦学习的束超网络
通过将图神经网络与超网络相结合,图超网络(GHNs)在神经架构搜索、分子性质预测和联邦学习等各个领域中利用关系数据。为了克服 GHNs 的不足,在个性化联邦学习(PFL)的背景下,我们提出了一种新型的超网络类,即 sheaf 超网络(SHN - CVPR个性化联邦学习的分散指导协作
个性化联邦学习(PFL)在每个客户端寻找最优个性化模型,我们提出了一种分布式的个性化联邦学习(DPFL)框架,通过引入随机梯度推送和部分模型个性化,实现了线性分类器的个性化,达到了更好的收敛速度。
- 个性化联邦学习中的序列层扩展在表征学习中的应用
通过表示学习的方法,将深度学习模型分解为更密集的部分,并应用适当的调度方法以解决数据和类别的异质性,从而提高个性化联邦学习算法的准确性并降低计算成本。
- FedSI: 面向高效不确定性量化的联邦子网络推断
这篇论文介绍了一种名为 FedSI 的新型 Bayesian DNNs-based 子网络推断 PFL 框架,通过利用贝叶斯方法有效地纳入系统不确定性,实现了简单可扩展的推断,同时在保留系统不确定性的情况下,在异构 FL 场景中表现出优于现 - 个性化联邦学习基于堆叠
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
- CVPRFedSelect:个性化的联邦学习与定制化参数选择用于精调
FedSelect 是一种新的个性化联邦学习算法,通过逐步扩展子网络对客户参数进行个性化,并在剩余参数上进行全局聚合,从而解决了客户数据异质性问题。
- 客户监督的联邦学习:朝着通用个性化模型
通过提出一种新的联邦学习框架,使得个性化联邦学习可以学习一个强健的全局模型,以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。
- FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新
个性化联邦学习中,采用较小规模的本地子模型的联邦丢弃策略会引入偏差,因此我们提出了联邦学习与随机参数更新的方法,通过冻结部分神经元来增强模型对于他人偏差参数的鲁棒性,并引入早停机制来显著减少训练时间。
- DA-PFL:个性化联邦学习的动态亲和力聚合
我们提出了一种新颖的动态亲和力个性化联邦学习模型(DA-PFL),以减轻联邦学习过程中的类不平衡问题。通过从互补的角度构建亲和度度量,并设计动态聚合策略来减少类不平衡风险,DA-PFL 模型可以显著提高三个真实世界数据集中每个客户的准确性。
- 可靠的个性化贝叶斯联邦学习通过后验微调
本文提出了一种基于贝叶斯方法的个性化联邦学习框架,采用参数后验的正态化流实现了个性化,从理论上分析了正态化流对贝叶斯神经网络的异常检测的影响,并通过在异构数据集上的实验结果表明,该方法不仅提高了准确性,还在异常检测方面优于基线模型。
- 个性化联邦学习参数选择的贝叶斯神经网络
提出了一种个性化的联邦学习方法,在神经网络的元素级别进行个性化参数选择,利用贝叶斯神经网络和提供的不确定性来指导参数选择,实验证明该方法在多个真实数据集上优于现有基线模型。
- 针对统计异质性的个性化联邦学习
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个 - 个性化联邦学习的频谱辅助蒸馏
基于模型频谱信息的新型谱蒸馏方法以及建立了通用与个性化模型训练之间的双向桥梁的共蒸馏框架,并提出了一种无等待本地训练协议,通过实验证明了这些方法的优越性和有效性。
- KDD基于聚类的动态图传播重新思考个性化联邦学习
提出了一个简单而有效的个性化联邦学习框架,通过将客户端分组为多个集群并基于服务器端的模型训练状态和数据分布构建连接集群的图,使用加权边更新节点的模型参数,然后设计了一种精确的个性化模型分配策略,以允许客户端从服务器端获取最合适的模型。在三个 - ICLRFedLoGe: 长尾数据下的联合局部与通用联邦学习
本研究提出了一种名为 FedLoGe 的方法,通过在神经坍塌框架中集成表示学习和分类器对齐,提高了本地和通用模型的性能,从而加强了分布式长尾学习中全局模型和本地模型的表现。
- 个性化联邦学习的概率模型:一种 PAC-Bayesian 方法
个性化联邦学习的 PAC-PFL 算法在一个 PAC-Bayesian 框架中应用差分隐私处理数据相关的先验概率,协同学习共享超后验,并将每个客户的后验推断视为个性化步骤,通过建立和最小化客户平均真实风险的泛化界限,有效地抑制过度拟合,从而