联邦学习中压缩通信的最优速率调适
研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣,提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法,并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低,在多个数据集、优化器、客户端和训练轮次中,失真 - 失真前沿保持一致。
Jan, 2022
提出基于压缩辅助的联邦学习问题,通过将其分解为子问题并基于协作博弈来有效分配无线资源,从而优化了 IoT 设备和服务器之间的通信,通过积极控制参与学习的设备数量,既可避免训练发散又能保持通信效率。
Jun, 2022
根据局部更新系数和梯度压缩稀疏预算之间的权衡方式,提出了一种新的快速联邦学习方案(Fast FL),该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明,Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。
May, 2021
提出了一种自适应压缩的通信高效联邦学习算法(称为 AdapComFL),通过每个客户端进行带宽感知和带宽预测,并通过改进的草图机制对本地模型进行自适应压缩,实现服务器对接收到的不同大小的草图模型进行聚合,实验证明 AdapComFL 相比现有算法在通信效率和准确性上更具竞争力。
May, 2024
本文研究压缩技术对典型图像分类任务的联邦学习的影响,并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息,与最先进的技术相媲美。
Oct, 2023
提出了一种错误反馈压缩式纵向联邦学习(EFVFL)方法,该方法通过利用错误反馈,在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度,改善了垂直 FL 中压缩方法的收敛速度,并且与未压缩的方法相匹配,同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性,并验证了理论结果。
Jun, 2024
本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架,包括自适应聚类算法和局部聚合压缩算法。仿真结果证实,我们提出的算法不仅保持了可比较的预测准确性,还显著降低了相对于现有联邦学习机制的能源消耗。
May, 2024
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
采用两种新策略(global model 压缩和 Federated Dropout)和现有压缩方法的结合,可以综合降低联邦学习对服务器到客户端通信的成本高达 14 倍、本地计算量 1.7 倍并在上传通信方面降低 28 倍,同时不降低最终模型的质量,从而全面降低了联邦学习对客户端设备资源的影响。
Dec, 2018