通过重要性采样实现通信高效的联邦学习

Jun, 2023

通过重要性采样实现通信高效的联邦学习

Communication-Efficient Federated Learning through Importance Sampling

Berivan Isik, Francesco Pase, Deniz Gunduz, Sanmi Koyejo, Tsachy Weissman...

TL;DR在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。

Abstract

The high communication cost of sending model updates from the clients to the server is a significant bottleneck for scalable federated learning (FL). Among existing approaches, state-of-the-art bitrate-accuracy t

scalable federated learning stochastic compression methods pre-data distribution kullback-leibler divergence communication cost

发现论文，激发创造

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

使用速率失真理论在联邦学习中优化通信 - 准确性权衡

研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真 - 失真前沿保持一致。

Jan, 2022

通过压缩实现隐私放大：在分布式均值估计中实现最优隐私 - 准确性 - 通信平衡

本文研究联邦学习和联邦分析中的隐私和通信障碍，通过压缩和随机选择部分信息以实现差分隐私，实现在通信和差分隐私约束下的均值和频率估计的最优准确性，从而实现更高效的计算。

Apr, 2023

通过自适应权重聚类和服务器端蒸馏实现高效通信的联邦学习

Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决，从而实现了降低通信成本并获得高度可泛化模型的学习。

Jan, 2024

通过减少客户资源需求扩大联邦学习的覆盖范围

采用两种新策略（global model 压缩和 Federated Dropout）和现有压缩方法的结合，可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍，同时不降低最终模型的质量，从而全面降低了联邦学习对客户端设备资源的影响。

Dec, 2018

FedComLoc: 通信高效的稀疏与量化模型的分布式训练

我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。

Mar, 2024

联邦学习中的混合模型：隐私、通讯和准确性权衡

为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

Aug, 2020

采用动态带宽的自适应压缩下的高效通信联邦学习

提出了一种自适应压缩的通信高效联邦学习算法（称为 AdapComFL），通过每个客户端进行带宽感知和带宽预测，并通过改进的草图机制对本地模型进行自适应压缩，实现服务器对接收到的不同大小的草图模型进行聚合，实验证明 AdapComFL 相比现有算法在通信效率和准确性上更具竞争力。

May, 2024

在联邦学习中协调安全性和通信效率

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022

基于知识蒸馏的通信高效联邦学习 (FedKD)

本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。

Aug, 2021