将先见之明修剪与零阶优化结合：低内存设备上高效的联邦学习
提出了一种新的联邦学习方法PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。
Sep, 2019
提出了基于联邦式剪枝的方法，以在维持相似性能的同时，在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点，如隐私问题、计算和通信资源等。
Sep, 2022
本文提出一种名为FedTiny的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。
Dec, 2022
本研究使用增量Hessian估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法，以达到超线性收敛，通过在Stiefel流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式，在中央服务器上构建梯度和Hessian估计器。我们对我们的算法进行了理论分析，命名为FedZeN，证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率，并表明我们的算法优于文献中可用的零阶联邦学习方法。
Sep, 2023
提出了一种新颖的记忆高效的联邦动态修剪框架FedMef，它在保持修剪效率的同时，通过在给定预算内挽救了被标记为修剪的参数的关键信息。通过有效地减少激活内存占用，特别适用于部署联邦学习到内存受限设备上，与现有方法相比，它在内存占用上实现了28.5%的显著减少，同时获得了卓越的准确性。
Mar, 2024
这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明AutoFLIP在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。
May, 2024
本研究针对联邦学习中的计算资源和存储能力有限的问题，提出了一种自动剪枝方案，以提高客户端设备的计算效率并降低通信成本。该剪枝范式动态确定剪枝边界，优化了缺乏硬件支持的移动设备的结构化剪枝算法，实验结果显示，与现有方法相比，该方法在减少89%的参数和90%的FLOPS的同时，保持了准确度，并显著降低了通信开销和推理时间。
Nov, 2024
本研究针对联邦学习中高计算和通信需求对资源有限设备的挑战，提出了一种新颖的联邦鲁棒剪枝框架（FedRTS）。该方法通过基于汤普森采样的调整机制，利用稳定和前瞻性的信息作出决策，从而提高鲁棒性和性能。实验结果表明，FedRTS在计算机视觉和自然语言处理任务上表现出色，同时降低了通信成本，特别是在数据分布异构和部分客户端参与的场景中。
Jan, 2025