分布式机器学习模式中的分布式学习是指许多客户端与中央服务器协同工作，以学习模型而无需共享自己的训练数据。本文介绍了一种采用随机梯度下降算法的分散式联邦学习（DFL）模型，作为一种更可伸缩的方法，以改善带有任意拓扑结构的代理网络中的学习性能。针对客户端和并行服务器之间的通信，提出了三种 DFL 调度策略，并在完全分散的 SGD 实现中对收敛性、准确性和损失进行了测试。实验结果表明所提出的调度策略对收敛速度和最终全局模型均有影响。

Nov, 2023

该论文提出了一种层次化联邦学习（Hierarchical FL）框架，并引入了光谱资源优化算法（SROA）和两阶段迭代算法（TSIA），以实现在无线用户大数据集中能源消耗和延迟降低方面的领先优势。

Sep, 2023

动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

Dec, 2023

本文提出了一种在半同步云模型聚合下，利用非正交多址接入技术的分层联邦学习系统，旨在最小化每次分层联邦学习全局轮次中的时间和能源成本。具体而言，我们首先提出了一种新颖的基于模糊逻辑的客户端编排策略，考虑了客户端在信道质量、数据数量和模型陈旧度等多个方面的异质性。随后，给定基于模糊逻辑的客户端边缘关联，我们制定了一种联合边缘服务器调度和资源分配问题。通过问题分解，我们首先利用罚函数对偶分解（PDD）方法导出了边缘服务器调度子问题的闭式解，然后提出了一种基于深度确定性策略梯度（DDPG）的算法，以解决考虑到时变环境的资源分配子问题。最后，广泛的仿真实验证明了所提出的方案在分层联邦学习性能提升和总成本降低方面优于考虑的基准。

Nov, 2023

提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案，通过动态聚合逐渐减少模型参数，从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低，并在测试准确性上明显优于 DFL 基准。

Apr, 2024

提出了改进的 K-Center 算法用于设备调度，并引入了基于深度强化学习的方法来分配物联网设备给边缘服务器，证明了在进行 Hierarchical FL 时，调度 50% 的物联网设备通常足以实现收敛，同时延迟和能耗明显降低，而在追求绿色人工智能以及减少消息传输方面，调度 30% 的物联网设备能够在保持模型准确度的同时大幅减少能耗和消息量。

Feb, 2024

本文探讨了分层联邦学习的激励机制设计问题，提出了两层次的激励机制，并使用联盟形成博弈和斯坦克尔伯格博弈算法优化了分层联邦学习的效能。数值结果表明，本文提出的算法比现有的基准方案具有更好的表现。

Apr, 2023

面向新时代的人工智能 (AI) 网络，关注 AI 的环境影响引起了行业和学术界的关注。联邦学习 (FL) 作为一种关键的隐私保护的分散式 AI 技术已经出现。尽管目前在 FL 方面已经做了努力，但其环境影响仍是一个悬而未决的问题。为了实现 FL 过程的能量消耗最小化，我们提出了编排参与设备的计算和通信资源以同时保证模型的一定性能并最小化所需总能量的软演员批判深度强化学习 (DRL) 解决方案。在培训过程中引入了一项惩罚函数，对违反环境约束的策略进行惩罚，并确保安全 RL 过程。提出了一种设备级同步方法以及计算成本有效的 FL 环境，旨在进一步降低能量消耗和通信开销。评估结果显示所提出的方案在静态和动态环境下与四种最先进的基准方案相比的有效性，能降低总能量消耗高达 94%。

Aug, 2023

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部分中，从而提供隐私保障，在真实的图像识别任务的不同数据集上实验结果表明，我们的 H-FL 框架实现了最先进的性能。

Jun, 2021