分层联邦学习中的时间最小化

Oct, 2022

Time Minimization in Hierarchical Federated Learning

Chang Liu, Terence Jie Chua, Jun Zhao

TL;DR本文提出了一种层次化联邦学习系统，结合联邦学习中的通信优化问题，通过优化本地迭代计数和边缘迭代计数，减少模型参数通信和计算延迟，并提出一种时限最小化的 UE-to-edge 关联算法。仿真结果表明，最优的边缘服务器和本地迭代计数可以使全局模型更快地收敛，利用 UE-to-edge 关联的策略可以最小化层次联邦学习延迟。

Abstract

federated learning is a modern decentralized machine learning technique where user equipments perform machine learning tasks locally and then upload the model parameters to a central server. In this paper, we consider a 3-layer →

federated learning hierarchical local iteration count edge server communication optimization

发现论文，激发创造

无线通信网络上联邦学习的延迟最小化

本文研究了无线通信网络上联邦学习中的延迟最小化问题，提出了一种基于二分搜索算法的优化方案，模拟实验表明所提出的算法相比传统的联邦学习方法可以将延迟降低了 27.3%。

Jul, 2020

客户端 - 边缘 - 云层级联合学习

该研究提出了一种基于层次化客户端边缘云联合学习的系统，并支持使用 HierFAVG 算法对多个边缘服务器进行部分模型聚合以适应不同的数据分布情况和优化通信与计算之间的权衡，同时验证了这种结构在能够减少模型训练时间和末端设备的能量消耗。

May, 2019

及时异步分层联邦学习：融合时代

文章研究了一种客户端 - 边缘 - 云异步分层联邦学习的设置，通过局部聚合模型的更新并在边缘服务器之间进行交换以收敛于全局模型，最终得到一系列稠密的客户端基地。分析表明，如果将节点分成 O（1）个集群，则对于固定平均时效的 n 个客户端的系统，可以在有限时间内概率上保证收敛。

Jun, 2023

联合通信与计算设计的能效联邦边缘学习

本文研究了联邦边缘学习系统，旨在通过协调边缘设备共同训练机器学习模型，以提高系统能效。同时，利用联合通信和计算设计优化边缘设备传输协议，通过最小化边缘设备上传机器学习模型参数时的总能耗，提高系统能效。作者提出了一种有效的算法来优化能量下降问题。数值结果显示，相对于其他基准方案，作者提出的联合通信和计算设计可以显著提高联邦边缘学习系统的能效。

Feb, 2020

在无线联合边缘学习系统中加速 DNN 训练

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

联邦块坐标下降方案用于学习全局和个性化模型

文章提出了一种二次罚函数公式，用于训练全局模型并允许个性化本地模型，并且通过采用分层结构建模云和边缘设备之间的通信（同时也适用于云内部的通信），解决了边缘设备异构训练时间引起的延迟问题。理论与实验都证实，这种系统可以更快地收敛于在边缘设备上个性化模型进行训练，比现有技术更优秀。

Dec, 2020

跨異質蜂巢網絡的階層式聯邦學習

研究使用梯度稀疏化和周期性平均的分层联邦学习框架，来在异构蜂窝网络中实现协作机器学习任务。结果表明，该方案可以显着降低通信延迟且不会减少模型精度。

Sep, 2019

联邦学习：提高通信效率的策略

本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

Oct, 2016

多目标进化联邦学习

此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

Dec, 2018

边缘网络通信延迟中的联邦学习

本研究提出了一种名为 “FedDelAvg” 的延迟加权算法，用于解决分布式机器学习模型训练中网络边缘设备之间的通信延迟问题，并通过理论分析和实验证明，在优化加权方案以考虑延迟的情况下，FedDelAvg 算法在收敛速度上取得了显著改善。

Aug, 2020