Mar, 2023

FedLP：面向通信计算效率的层次剪枝联邦学习机制

PDF
TL;DR本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。
发现论文，激发创造
  • 通信高效的联邦学习系统中的遮蔽剪枝降维方法

    使用蒙特卡洛方法结合剪枝算法，提出了一种名为 MPFL 的在通信受限系统中降低模型通信成本的迭代式分布式机器学习算法。

    Dec, 2023

  • 分层无线网络中的自适应联邦剪枝

    本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

    May, 2023

  • 基於信息修剪的自動聯邦學習

    这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

    May, 2024

  • 无线网络上高效计算与通信的联邦学习

    通过将学习模型分为全局部分和个性化部分，以实现模型剪枝和个性化，本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架，并通过数学分析研究了其收敛性、计算和通信延迟，并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明，相比只进行模型个性化的方案，该框架能够显著减少约 50％的计算和通信延迟。

    Sep, 2023

  • FedCliP: 客户端修剪的联邦学习

    本研究提出了一种新的通信高效的联邦学习（FL）框架 FedCliP，采用自适应学习算法确定参与模型训练的客户端，通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。

    Jan, 2023

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023

  • FedPrune：走向包容性联邦学习

    提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

    Oct, 2021

  • 模型修剪使边缘设备上的联邦学习更高效

    提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

    Sep, 2019

  • SpaFL: 带有稀疏模型和低计算开销的高效联邦学习

    SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

    Jun, 2024

  • PriPrune：修剪联邦学习中的隐私量化和保护

    我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。

    Oct, 2023