May, 2022

本地更新促进表示学习的 FedAvg 与微调

PDF
TL;DR通过对 FedAvg 在多任务线性表示设置下的形式化研究，我们发现 FedAvg 之所以能够产生良好的泛化效果，是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示，我们还提供了实证证据，证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。
federated learningfedavg algorithmmulti-task learningcommon data representationlocal updates
发现论文，激发创造
  • FedClassAvg: 异构神经网络的个性化联邦学习中局部表示学习

    本研究提出一种名为联邦分类器平均（FedClassAvg）的个性化联邦学习方法，通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据（non-iid）学习任务的客户端可以学习稀缺标签，同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现，相较于已有方法仅要求客户端通信少量全连接层，因此高度通信效率，而且不需要额外的优化问题和计算开销，且在异构性个性化联邦学习任务方面表现优于现有最先进算法。

    Oct, 2022

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 在大规模联邦学习中利用函数空间聚合

    该研究提出了一种名为 FedFish 的聚合算法，通过在函数空间中计算 Fisher 信息的估计，将客户端学习到的函数本地逼近进行聚合，并在大规模跨设备基准测试中验证了其性能优于 FedAvg，尤其在本地训练迭代次数增加时。

    Nov, 2023

  • FedMR: 基於模型重組的聯邦學習

    本文提出一种名为 FedMR 的新颖、高效的联邦学习模式，通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练，从而实现更好的推理性能和客户端隐私保护。实验结果表明，与现有的联邦平均（FedAvg）方法相比，FedMR 在更快的时间内显著提高了推理准确性。

    May, 2023

  • 持续本地训练以改进联邦模型的初始化

    本文提出了基于本地持续训练策略的联邦学习算法，通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练，从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中，显著提高了联邦模型的初始性能。

    May, 2020

  • 关于联邦学习的二阶优化方法

    本研究考虑分布式学习中的标准优化方法 FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现 FedAvg 表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

    Sep, 2021

  • WeiAvg: 促进数据多样性的联邦学习模型聚合

    本文提出了一种新颖方法 - WeiAvg，利用投影估计方法来估计客户端数据的多样性，从高多样性客户端强调权重更新，减少低多样性客户端的影响，实验结果证明 WeiAvg 优于原始的 FedAvg 算法和 FedProx，能更快、更准确的达到收敛。

    May, 2023

  • 具有无偏梯度聚合和可控元更新的联邦学习

    该研究旨在解决联邦学习过程中的梯度偏差和目标分布方面的问题，通过提出一个无偏梯度聚合算法和控制的元更新过程，实现更快的收敛速度和更高的准确度，具有广泛的适用性和实验验证重要性。

    Oct, 2019