FedPrune：走向包容性联邦学习

Oct, 2021

FedPrune: Towards Inclusive Federated Learning

Muhammad Tahir Munir, Muhammad Mustansar Saeed, Mahad Ali, Zafar Ayyub Qazi, Ihsan Ayyub Qazi

TL;DR提出了一种叫作FedPrune的系统，通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与Federated Averaging相比，FedPrune提供了更好的鲁棒性和公平性。

Abstract

federated learning (FL) is a distributed learning technique that trains a shared model over distributed data in a privacy-preserving manner. Unfortunately, FL's performance degrades when there is (i) variability in client characteristics in terms of computational and memory resources (

发现论文，激发创造

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

Nov, 2021

联邦学习的聚合服务：高效、安全、更具韧性的实现

本文介绍了一个基于轻量级加密和数据混淆的联邦学习系统，结合恰当的带宽效率优化和对云服务器主动攻击的安全保护机制，在保证客户端数据隐私的前提下，整合来自多源的数据进行联合训练，并在多项数据集（MNIST、CIFAR-10、CelebA）上验证该系统的可行性及精度。

Feb, 2022

联邦学习的进展：模型、方法和隐私

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

FedSampling：一种更好的联邦学习采样策略

本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明FedSampling可以有效提高联邦学习的性能。

Jun, 2023

FedBug: 一种自下而上逐步解冻的联邦学习框架

FedBug是一种新颖的联邦学习框架，通过逐层解冻模型来解决客户端漂移问题，提升交叉客户端对齐效果，拥有更快的收敛速度。

Jul, 2023

降低信息泄漏和计算的联邦学习

Upcycled-FL是一种新颖的联邦学习框架，应用在每个偶数迭代中的一阶逼近，以在保持隐私的同时提高隐私-准确性平衡，并通过引入扰动机制来保护隐私。实验表明，Upcycled-FL在异构数据上持续优于现有方法，并且平均减少48％的训练时间。

Oct, 2023

PriPrune：修剪联邦学习中的隐私量化和保护

我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的PriPrune算法显著改善了隐私和模型性能的平衡。

Oct, 2023

探索联邦学习的实用性: 从通信的角度进行调查

调查分析了通信高效的联合学习方法，定义了通信效率的度量方法并提供了系统全面的分类和评述，讨论了提高联合学习系统通信效率的未来研究方向。

May, 2024

加速联邦学习的高效数据分配估计

在大规模FL环境中，本研究旨在研究客户端选择算法的开销，并提出一种高效的数据分布摘要计算算法来减少开销。评估结果显示，我们的解决方案在数据摘要时间上能够实现30倍的降低，聚类时间上能够实现360倍的降低。

Jun, 2024

FedMap：迭代基于幅度修剪的通信高效联邦学习

FedMap是一种新颖的方法，通过协作学习逐渐稀疏全局模型，从而提高联邦学习系统的通信效率，适用于对隐私至关重要的医疗和金融领域。它采用迭代的振幅剪枝方法训练全局模型，以减少通信开销，避免了参数重新激活问题，实现了稳定的性能表现。FedMap在多样的设置、数据集、模型架构和超参数中进行了广泛评估，证明了在IID和非IID环境下的性能，并相较于基线方法，FedMap能够达到更稳定的客户端模型性能，并在不降低准确性的情况下至少实现80%的剪枝。

Jun, 2024