面向轻量通信设计的联邦学习压缩
本文介绍了一个集成了聚类式联邦学习和模型压缩优势的新型层次式联邦学习框架,包括自适应聚类算法和局部聚合压缩算法。仿真结果证实,我们提出的算法不仅保持了可比较的预测准确性,还显著降低了相对于现有联邦学习机制的能源消耗。
May, 2024
Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决,从而实现了降低通信成本并获得高度可泛化模型的学习。
Jan, 2024
我们引入 FedComLoc 算法,集成了实用和有效的压缩技术到 Scaffnew 算法中,以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题,本文提出了一种基于估计方案的设备选择算法,以最小化类别不平衡来提高联邦学习全局模型的收敛性能。
Nov, 2020
本研究提出一种灵活的通信压缩控制方案,使得现代移动终端设备能够更加高效的参与大规模移动边缘设备的联合学习,进而在不影响学习性能的前提下节约能量消耗。
Dec, 2020
本文提出通过在个体边缘设备上训练个性化模型以取代传统机器学习模型,以解决数据异质性带来的问题,并对新算法 Loopless Gradient Descent 进行了压缩优化,实验结果表明该算法比其他基于压缩的算法运行效率更高且收敛速度不低于 vanilla SGD。
Sep, 2022
本文提供了关于联邦学习的概述,并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型,解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向,其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。
May, 2022
本文提出了一种称为高压缩联邦学习的压缩方案,可应用于大规模物联网网络中的协作学习,以减少通信成本并提高学习过程的适应性,并探索了物联网设备数量与 FL 模型收敛水平之间的关系。
Apr, 2022