Oct, 2022

FedClassAvg: 异构神经网络的个性化联邦学习中局部表示学习

PDF
TL;DR本研究提出一种名为联邦分类器平均（FedClassAvg）的个性化联邦学习方法，通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据（non-iid）学习任务的客户端可以学习稀缺标签，同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现，相较于已有方法仅要求客户端通信少量全连接层，因此高度通信效率，而且不需要额外的优化问题和计算开销，且在异构性个性化联邦学习任务方面表现优于现有最先进算法。
发现论文，激发创造
  • 本地更新促进表示学习的 FedAvg 与微调

    通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。

    May, 2022

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 针对个性化联邦学习的客户正则化和类别分布聚合

    个性化联邦学习中，通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法，即类别级联联邦平均（cwFedAVG），该方法在服务器端按类别执行联邦平均（FedAVG），创建多个每个类别的全局模型。每个本地模型使用其估计的本地类别分布（由深度网络权重的 L2 - 范数导出），加权整合这些全局模型，避免了隐私违规。每个全局模型以相同的方法对本地模型进行操作。实验结果显示，cwFedAVG 可以与多个现有的 PFL 方法相媲美甚至更好。值得注意的是，cwFedAVG 在概念上简单而计算高效，通过利用共享全局模型来减少客户端之间合作所需的广泛计算。可视化结果揭示了 cwFedAVG 如何实现了各自类别分布上的本地模型专业化，同时全局模型捕获了跨客户端的类别相关信息。

    Jun, 2024

  • Dirichlet 分布异构数据的 FedAvg 和 Per-FedAvg 算法的比较评估

    该研究调查了联邦学习（FL）这一机器学习范式，允许在不共享原始数据的设备上进行分散模型训练，从而保护数据隐私。我们比较了该范式内的两种策略：联邦平均（FedAvg）和个性化联邦平均（Per-FedAvg），重点关注它们在非独立同分布数据（Non-IID）条件下的性能。我们的分析显示，使用狄利克雷分布建模的数据异质性水平显著影响两种策略的性能，在高异质性条件下，Per-FedAvg 表现出更强的健壮性。我们的结果为在分散环境下开发更有效和高效的机器学习策略提供了见解。

    Sep, 2023

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 在个性化层上进行联合学习

    本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

    Dec, 2019

  • Fed2：特征对齐联邦学习

    本文提出了基于特征对齐 Fed2 的联邦学习框架，通过显式的特征分配和特征配对均值方案，解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题，提高了模型的收敛性能。

    Nov, 2021

  • FedFN：解决联邦学习中的数据异质性问题的特征正态化

    研究通过实验证明 FedFN 学习方法在训练模型时依然可以保持高效性能，尤其在面对数据异质性和特征表征等问题时表现优异。

    Nov, 2023

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 在大规模联邦学习中利用函数空间聚合

    该研究提出了一种名为 FedFish 的聚合算法，通过在函数空间中计算 Fisher 信息的估计，将客户端学习到的函数本地逼近进行聚合，并在大规模跨设备基准测试中验证了其性能优于 FedAvg，尤其在本地训练迭代次数增加时。

    Nov, 2023