FedPrune：走向包容性联邦学习

Oct, 2021

FedPrune: Towards Inclusive Federated Learning

Muhammad Tahir Munir, Muhammad Mustansar Saeed, Mahad Ali, Zafar Ayyub Qazi, Ihsan Ayyub Qazi

TL;DR提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

Abstract

federated learning (FL) is a distributed learning technique that trains a shared model over distributed data in a privacy-preserving manner. Unfortunately, FL's performance degrades when there is (i) variability in client characteristics in terms of computational and memory resources (

federated learning system heterogeneity statistical heterogeneity fedprune test accuracy

发现论文，激发创造

PriPrune：修剪联邦学习中的隐私量化和保护

我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。

Oct, 2023

基於信息修剪的自動聯邦學習

这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

May, 2024

模型修剪使边缘设备上的联邦学习更高效

提出了一种新的联邦学习方法 PruneFL，其通过自适应和分布式参数修剪来减少通信和计算开销，并在维持类似于原始模型的准确度的同时，利用全局数据集合进行模型训练。

Sep, 2019

基于剪枝和恢复的联邦学习

在异构环境中，提出了一种新颖的联邦学习训练框架，考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术，有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题，同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小，该框架加快了模型训练速度，同时保留了模型准确性。此外，还引入了改进的联邦学习聚合过程，包括缓冲机制，使异步联邦学习能够像同步学习一样进行操作。另外，在服务器向客户端传输全局模型的过程中进行了优化，减少了通信开销。我们在各种数据集上的实验表明：相对于传统的异步联邦学习和异构联邦学习，我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进；我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。

Mar, 2024

模型剪枝实现本地化和高效化联邦学习，用于收成预测和数据共享

本文提出一种新的技术解决方案，利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题，该方法可以提高 15.5％至 20％的推理性能，并将本地模型大小减少高达 84％和客户端和服务器之间通信的数据量减少 57.1％至 64.7％。

Apr, 2023

预处理联邦学习

在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

Sep, 2023

加速半异步联邦学习

传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

Feb, 2024

分层无线网络中的自适应联邦剪枝

本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

May, 2023

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

FedTiny：修剪的联邦学习面向专业小型模型

本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下表现出色，并在各项指标上超越了现有基线方法。

Dec, 2022