本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。

Dec, 2022

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

本研究提出了一种新的联邦学习框架 (FedDIP)，通过动态模型修剪和错误反馈相结合的方式，来控制参数交换并实现模型稀疏化，以达到与其他模型修剪方法相媲美或更好的性能。

Sep, 2023

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

Oct, 2021

FedMap 是一种新颖的方法，通过协作学习逐渐稀疏全局模型，从而提高联邦学习系统的通信效率，适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型，以减少通信开销，避免了参数重新激活问题，实现了稳定的性能表现。FedMap 在多样的设置、数据集、模型架构和超参数中进行了广泛评估，证明了在 IID 和非 IID 环境下的性能，并相较于基线方法，FedMap 能够达到更稳定的客户端模型性能，并在不降低准确性的情况下至少实现 80% 的剪枝。

Jun, 2024

本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。

Mar, 2023

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

基于神经切向核（NTK）的联邦预见修剪方法可以与联邦 BP-Free 训练框架无缝集成，减少内存使用并提高性能。

May, 2024

个性化联合持续学习（PFCL）的问题是一个分布式客户端组，每个客户端都有一系列的本地任务和任意数据分布，通过一个中央服务器合作训练每个客户端的个性化模型，而这个模型需要在所有本地任务中表现良好。我们提出了一个名为联合记忆增强 FedMeS 的新型 PFCL 框架，以解决客户漂移和灾难性遗忘的挑战。在 FedMeS 中，每个客户端使用少量本地内存来存储来自先前任务的样本，并利用这些信息来同时：1) 校准训练过程中的梯度更新；2) 执行基于 KNN 的高斯推断以促进个性化。FedMeS 被设计为任务无关的，这意味着相同的推断过程适用于所有任务的样本，以取得好的性能。FedMeS 在理论上进行了分析并进行了实验评估。实验证明，在各种数据集、任务分布和客户端数量的组合中，它在平均准确性和遗忘率方面优于所有基线模型。

Apr, 2024