Oct, 2023

PriPrune：修剪联邦学习中的隐私量化和保护

PDF
TL;DR我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。
federated learningmodel pruningprivacy attacksinformation leakagepriprune
发现论文，激发创造
  • 模型修剪使边缘设备上的联邦学习更高效

    提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

    Sep, 2019

  • FedPrune：走向包容性联邦学习

    提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

    Oct, 2021

  • 基於信息修剪的自動聯邦學習

    这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

    May, 2024

  • 模型剪枝实现本地化和高效化联邦学习，用于收成预测和数据共享

    本文提出一种新的技术解决方案，利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题，该方法可以提高 15.5％至 20％的推理性能，并将本地模型大小减少高达 84％和客户端和服务器之间通信的数据量减少 57.1％至 64.7％。

    Apr, 2023

  • 分层无线网络中的自适应联邦剪枝

    本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

    May, 2023

  • FedTiny：修剪的联邦学习面向专业小型模型

    本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。

    Dec, 2022

  • 通信高效的联邦学习系统中的遮蔽剪枝降维方法

    使用蒙特卡洛方法结合剪枝算法，提出了一种名为 MPFL 的在通信受限系统中降低模型通信成本的迭代式分布式机器学习算法。

    Dec, 2023

  • 基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

    本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

    May, 2021

  • 互补稀疏化：面向联邦学习的低开销模型剪枝

    提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

    Mar, 2023

  • FedLP：面向通信计算效率的层次剪枝联邦学习机制

    本文介绍一种针对分布式学习中计算和通信优化的显式 FL 剪枝框架 (FedLP)，采用层次剪枝在本地训练和协作更新中，两种特定方案的实验验证表明 FedLP 可以减轻通信和计算瓶颈并具有良好的性能。FedLP 是将层次剪枝正式引入 FL 的第一个框架。

    Mar, 2023