通信高效的联邦学习系统中的遮蔽剪枝降维方法
提出了一种新的联邦学习方法PruneFL,其通过自适应和分布式参数修剪来减少通信和计算开销,并在维持类似于原始模型的准确度的同时,利用全局数据集合进行模型训练。
Sep, 2019
提出了基于联邦式剪枝的方法,以在维持相似性能的同时,在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点,如隐私问题、计算和通信资源等。
Sep, 2022
本文提出一种名为FedTiny的分布式修剪框架,通过自适应批量归一化选择模块和轻量级渐进修剪模块,可在有限的计算和存储资源上定制化地修剪神经网络模型,以适应分布式和机密数据的联合学习。实验结果表明,FedTiny在压缩深度模型的情况下表现出色,并在各项指标上超越了现有基线方法。
Dec, 2022
提出了一种基于Collaborative Pruning机制的Model Pruning方法,名为Complement Sparsification(CS)。该方法能够减少通信开销,降低客户端的计算复杂度,并在保持模型准确性的同时实现分布式机器学习,尤其适用于移动端和物联网设备。
Mar, 2023
本文介绍一种针对分布式学习中计算和通信优化的显式FL剪枝框架(FedLP),采用层次剪枝在本地训练和协作更新中,两种特定方案的实验验证表明FedLP可以减轻通信和计算瓶颈并具有良好的性能。FedLP是将层次剪枝正式引入FL的第一个框架。
Mar, 2023
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约50%的计算和通信延迟。
Sep, 2023
SpaFL提出了一个通信高效的联邦学习框架,优化了稀疏模型结构来避免大规模通信和计算资源消耗,通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性,只通过服务器和客户端之间的阈值通信来学习如何剪枝,利用全局阈值提取聚合参数重要性来更新模型参数,并通过推导SpaFL的泛化界限,证明了稀疏性与性能之间的关系,实验结果表明SpaFL在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
Jun, 2024
FedMap是一种新颖的方法,通过协作学习逐渐稀疏全局模型,从而提高联邦学习系统的通信效率,适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型,以减少通信开销,避免了参数重新激活问题,实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估,证明了在IID和非IID环境下的性能,并相较于基线方法,FedMap能够达到更稳定的客户端模型性能,并在不降低准确性的情况下至少实现80%的剪枝。
Jun, 2024
本研究针对联邦学习中存在的高通信成本问题,提出了一种新的方法——联邦掩码随机噪声(FedMRN)框架。该框架能够通过学习每个模型参数的1位掩码,并应用掩码随机噪声来表示模型更新,从而提高通信效率。实验结果表明,FedMRN在收敛速度和测试准确率上优于相关基准,同时与FedAvg达到相似的准确性。
Aug, 2024
本研究针对联邦学习中的计算资源和存储能力有限的问题,提出了一种自动剪枝方案,以提高客户端设备的计算效率并降低通信成本。该剪枝范式动态确定剪枝边界,优化了缺乏硬件支持的移动设备的结构化剪枝算法,实验结果显示,与现有方法相比,该方法在减少89%的参数和90%的FLOPS的同时,保持了准确度,并显著降低了通信开销和推理时间。
Nov, 2024