提出了一种新的联邦学习方法PruneFL,其通过自适应和分布式参数修剪来减少通信和计算开销,并在维持类似于原始模型的准确度的同时,利用全局数据集合进行模型训练。
Sep, 2019
本文提出了一种称为Federated Dynamic Sparse Training(FedDST)的novel FL框架,旨在动态提取和训练目标网络中的稀疏子网络,并实现了在设备计算和网络通信方面的高效,相对于固定稀疏掩模的方法,它在本地异质性适应和FL性能方面具有较大的优势,在非i.i.d FL设置下,FedDST在数据传输上的表现显著优于竞争性算法。
Dec, 2021
提出了基于联邦式剪枝的方法,以在维持相似性能的同时,在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点,如隐私问题、计算和通信资源等。
Sep, 2022
本文提出一种名为FedTiny的分布式修剪框架,通过自适应批量归一化选择模块和轻量级渐进修剪模块,可在有限的计算和存储资源上定制化地修剪神经网络模型,以适应分布式和机密数据的联合学习。实验结果表明,FedTiny在压缩深度模型的情况下表现出色,并在各项指标上超越了现有基线方法。
Dec, 2022
本文介绍一种针对分布式学习中计算和通信优化的显式FL剪枝框架(FedLP),采用层次剪枝在本地训练和协作更新中,两种特定方案的实验验证表明FedLP可以减轻通信和计算瓶颈并具有良好的性能。FedLP是将层次剪枝正式引入FL的第一个框架。
Mar, 2023
本研究提出了一种新的联邦学习框架(FedDIP),通过动态模型修剪和错误反馈相结合的方式,来控制参数交换并实现模型稀疏化,以达到与其他模型修剪方法相媲美或更好的性能。
Sep, 2023
通过部分训练模型的策略,我们提出并评估了一种受迁移学习启发的联邦学习策略,以减少设备上的资源利用、服务器负载和网络负担,从而加速训练过程,有效利用设备资源,并在不影响全局模型准确性的情况下减少数据传输约75%和53%。
使用蒙特卡洛方法结合剪枝算法,提出了一种名为MPFL的在通信受限系统中降低模型通信成本的迭代式分布式机器学习算法。
Dec, 2023
这项研究介绍了一种利用知情剪枝的自动联邦学习方法,名为AutoFLIP,在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为,提供参数重要性的见解。我们的实验证明AutoFLIP在具有强非独立同分布数据的场景中有显著的改进,突出了它处理计算约束并实现更好的全局收敛能力。
May, 2024
本研究针对联邦学习中的计算资源和存储能力有限的问题,提出了一种自动剪枝方案,以提高客户端设备的计算效率并降低通信成本。该剪枝范式动态确定剪枝边界,优化了缺乏硬件支持的移动设备的结构化剪枝算法,实验结果显示,与现有方法相比,该方法在减少89%的参数和90%的FLOPS的同时,保持了准确度,并显著降低了通信开销和推理时间。
Nov, 2024