本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

Sep, 2023

本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。

Dec, 2022

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

提出了一种基于高度稀疏操作的 ZeroFL 框架，用于加速 On-device 训​​练，使 Federated Learning 能够训练高性能机器学习模型，并提高了精度。

Aug, 2022

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

提出了一种新颖的记忆高效的联邦动态修剪框架 FedMef，它在保持修剪效率的同时，通过在给定预算内挽救了被标记为修剪的参数的关键信息。通过有效地减少激活内存占用，特别适用于部署联邦学习到内存受限设备上，与现有方法相比，它在内存占用上实现了 28.5% 的显著减少，同时获得了卓越的准确性。

Mar, 2024

本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。

Mar, 2023

使用一种名为 FedFwd 的新方法，该方法在本地训练过程中通过层级局部更新参数来减少计算量，无需在训练期间存储所有中间激活值。在评估 MNIST 等标准数据集上，我们进行了各种实验，表明它与其他依赖于反向传播算法的联邦学习方法具有竞争力。

Sep, 2023

本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法（FedZO），并介绍了一种适用于无线网络的空气计算辅助 FedZO 算法。在非凸设置下，研究了 FedZO 算法的收敛性能，并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。

Jan, 2022