互补稀疏化:面向联邦学习的低开销模型剪枝
提出了一种新的联邦学习方法 PruneFL,其通过自适应和分布式参数修剪来减少通信和计算开销,并在维持类似于原始模型的准确度的同时,利用全局数据集合进行模型训练。
Sep, 2019
本文介绍了一种基于稀疏通信框架的时间相关稀疏化(TCS)方案,通过寻找联邦学习中连续迭代中使用的稀疏表示之间的相关性,以显著减少编码和传输的开销,以提高测试准确性,并演示了在 CIFAR-10 数据集上使用量化加时间相关稀疏化方法时,可实现 100 倍稀疏化的集中式训练准确性并减少高达 2000 倍的通信负载。
Jan, 2021
SpaFL 提出了一个通信高效的联邦学习框架,优化了稀疏模型结构来避免大规模通信和计算资源消耗,通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性,只通过服务器和客户端之间的阈值通信来学习如何剪枝,利用全局阈值提取聚合参数重要性来更新模型参数,并通过推导 SpaFL 的泛化界限,证明了稀疏性与性能之间的关系,实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。
Jun, 2024
提出了一种用于非凸和非平滑联邦学习问题的新型原始 - 对偶算法,结合双向模型稀疏化和差分隐私,以保证强隐私,通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能,并验证了所有分析结果和特性。
Oct, 2023
本文在无线网络中为分层式联邦学习引入了模型剪枝技术,通过联合优化剪枝比例和无线资源分配,旨在最大化模型收敛速度以达到给定延迟阈值,并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解,并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50%的通信成本而实现了相似的学习准确率。
May, 2023
这项研究介绍了一种利用知情剪枝的自动联邦学习方法,名为 AutoFLIP,在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为,提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进,突出了它处理计算约束并实现更好的全局收敛能力。
May, 2024
通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架,该框架在无线信道上进行训练,提升了训练效率且不牺牲收敛性能,同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
Apr, 2023
本文提出一种新的技术解决方案,利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题,该方法可以提高 15.5%至 20%的推理性能,并将本地模型大小减少高达 84%和客户端和服务器之间通信的数据量减少 57.1%至 64.7%。
Apr, 2023
我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究,推导出了剪枝模型泄露信息量的信息论上界,并通过实验验证了这些理论发现,结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。
Oct, 2023
这篇论文提出了一种新的联邦学习框架,采用随机稀疏化和梯度扰动来增强差分隐私保证,结合加速技术减少隐私代价,并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。
Aug, 2020