提出了基于联邦式剪枝的方法，以在维持相似性能的同时，在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点，如隐私问题、计算和通信资源等。

Sep, 2022

本文提出一种名为FedTiny的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。

Dec, 2022

提出了一种基于Collaborative Pruning机制的Model Pruning方法，名为Complement Sparsification(CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

Mar, 2023

本文介绍一种针对分布式学习中计算和通信优化的显式FL剪枝框架(FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明FedLP可以减轻通信和计算瓶颈并具有良好的性能。FedLP是将层次剪枝正式引入FL的第一个框架。

Mar, 2023

通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约50％的计算和通信延迟。

Sep, 2023

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约75%和53%。

Sep, 2023

使用蒙特卡洛方法结合剪枝算法，提出了一种名为MPFL的在通信受限系统中降低模型通信成本的迭代式分布式机器学习算法。

Dec, 2023

提出了一种新颖的记忆高效的联邦动态修剪框架FedMef，它在保持修剪效率的同时，通过在给定预算内挽救了被标记为修剪的参数的关键信息。通过有效地减少激活内存占用，特别适用于部署联邦学习到内存受限设备上，与现有方法相比，它在内存占用上实现了28.5%的显著减少，同时获得了卓越的准确性。

Mar, 2024

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明AutoFLIP在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

本研究针对联邦学习中的计算资源和存储能力有限的问题，提出了一种自动剪枝方案，以提高客户端设备的计算效率并降低通信成本。该剪枝范式动态确定剪枝边界，优化了缺乏硬件支持的移动设备的结构化剪枝算法，实验结果显示，与现有方法相比，该方法在减少89%的参数和90%的FLOPS的同时，保持了准确度，并显著降低了通信开销和推理时间。

Nov, 2024