ICMLMay, 2022
高效沟通的自适应联邦学习
Communication-Efficient Adaptive Federated Learning
Yujia Wang, Lu Lin, Jinghui Chen
TL;DR本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。
Abstract
federated learning is a machine learning training paradigm that enables
clients to jointly train models without sharing their own localized data.
However, the implementation of →
发现论文，激发创造
自适应联邦优化
本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力
本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。
Nov, 2020
采用动态带宽的自适应压缩下的高效通信联邦学习
提出了一种自适应压缩的通信高效联邦学习算法（称为 AdapComFL），通过每个客户端进行带宽感知和带宽预测，并通过改进的草图机制对本地模型进行自适应压缩，实现服务器对接收到的不同大小的草图模型进行聚合，实验证明 AdapComFL 相比现有算法在通信效率和准确性上更具竞争力。
May, 2024
基于知识蒸馏的通信高效联邦学习 (FedKD)
本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。
Aug, 2021
通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习
Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。
Jan, 2024
基于最优客户端采样的通信高效联邦学习
本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。
Jul, 2020