Dec, 2022

FedTiny：修剪的联邦学习面向专业小型模型

PDF
TL;DR本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。
neural network pruningresource-constrained devicesfederated learningadaptive batch normalizationprogressive pruning
发现论文，激发创造
  • 模型修剪使边缘设备上的联邦学习更高效

    提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

    Sep, 2019

  • FedPrune：走向包容性联邦学习

    提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

    Oct, 2021

  • 基於信息修剪的自動聯邦學習

    这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

    May, 2024

  • 分层无线网络中的自适应联邦剪枝

    本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

    May, 2023

  • FedMef: 朝着内存高效的联邦动态修剪

    提出了一种新颖的记忆高效的联邦动态修剪框架 FedMef，它在保持修剪效率的同时，通过在给定预算内挽救了被标记为修剪的参数的关键信息。通过有效地减少激活内存占用，特别适用于部署联邦学习到内存受限设备上，与现有方法相比，它在内存占用上实现了 28.5% 的显著减少，同时获得了卓越的准确性。

    Mar, 2024

  • PriPrune：修剪联邦学习中的隐私量化和保护

    我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。

    Oct, 2023

  • 模型剪枝实现本地化和高效化联邦学习，用于收成预测和数据共享

    本文提出一种新的技术解决方案，利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题，该方法可以提高 15.5％至 20％的推理性能，并将本地模型大小减少高达 84％和客户端和服务器之间通信的数据量减少 57.1％至 64.7％。

    Apr, 2023

  • 联邦剪枝：利用联邦学习提高神经网络的效率

    提出了基于联邦式剪枝的方法，以在维持相似性能的同时，在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点，如隐私问题、计算和通信资源等。

    Sep, 2022

  • 面向轻量通信设计的联邦学习压缩

    本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

    Oct, 2023

  • FedLP：面向通信计算效率的层次剪枝联邦学习机制

    本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。

    Mar, 2023