Mar, 2024

基于剪枝和恢复的联邦学习

PDF
TL;DR在异构环境中，提出了一种新颖的联邦学习训练框架，考虑了真实环境中客户端的各种网络速度差异。该框架集成了异步学习算法和修剪技术，有效解决了传统联邦学习算法在涉及异构设备的场景中的低效问题，同时解决了异步算法中某些客户端训练不充分和过时问题。通过在训练过程中逐步恢复模型大小，该框架加快了模型训练速度，同时保留了模型准确性。此外，还引入了改进的联邦学习聚合过程，包括缓冲机制，使异步联邦学习能够像同步学习一样进行操作。另外，在服务器向客户端传输全局模型的过程中进行了优化，减少了通信开销。我们在各种数据集上的实验表明：相对于传统的异步联邦学习和异构联邦学习，我们的方法在减少训练时间和提高收敛准确性方面取得了显著的改进；我们的方法在存在异构客户端和非独立同分布客户端数据的场景中优势更加明显。
发现论文，激发创造
  • FedPrune：走向包容性联邦学习

    提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

    Oct, 2021

  • 原型有助于联邦学习：朝着更快的收敛方向

    该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

    Mar, 2023

  • 分层无线网络中的自适应联邦剪枝

    本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 HFL 中实现了减少了约 50％的通信成本而实现了相似的学习准确率。

    May, 2023

  • 基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

    本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

    May, 2021

  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • FedP3：基于模型异构的联邦化个性化和隐私友好的网络剪枝

    本研究关注于联邦学习中的客户端模型异质性问题，并提出了适用于模型异质性场景的有效、适应性强的联邦框架 FedP3 及其差分隐私变体 DP-FedP3，并从理论上验证了它们的高效性。

    Apr, 2024

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • TimelyFL: 自适应局部训练的异步异构联邦学习

    TimelyFL 是一个异步的 FL 框架，它具有自适应的部分训练能力，用于处理异构设备之间的差异和连接不可靠性。实验表明，与现有同类方法相比，它提高了参与率 21.13％，收敛率 1.28-2.89 倍，测试精度提高了 6.25％。

    Apr, 2023

  • 基於信息修剪的自動聯邦學習

    这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFLIP 在具有强非独立同分布数据的场景中有显著的改进，突出了它处理计算约束并实现更好的全局收敛能力。

    May, 2024