Jun, 2024

缓冲异步安全聚合用于跨设备联邦学习

PDF
TL;DR异步联邦学习中设备异构性的挑战与现有的用于保护用户隐私的安全聚合协议不兼容，本文提出了一种名为缓冲式异步安全聚合（BASA）的新颖安全聚合协议，BASA 与异步联邦学习完全兼容，并在用户之间无需任何同步交互的条件下，为交换一轮与服务器的通信提供了安全聚合。基于 BASA，我们提出了第一种无需额外硬件要求实现安全聚合的异步联邦学习方法，并通过实验证明 BASA 在交叉设备联邦学习中的训练效率和可扩展性优于现有的安全聚合协议。
发现论文，激发创造
  • 带缓存异步聚合的联邦学习

    本文提出了一种新的缓存异步聚合方法 FedBuff，它结合了同步和异步 federated learning 的最佳属性，可在不影响系统隐私的情况下提高效率，大大缓解了跨设备联合学习中的可扩展性和隐私问题。

    Jun, 2021

  • SAFA: 一种针对低开销的快速联邦学习的半同步协议

    本文提出 SAFA 半异步联邦学习协议，通过在模型分发、客户端选择和全局聚合的步骤中引入新设计来缓解滞后、崩溃和模型陈旧的影响，以提高效率和改善全局模型的质量，从而在通信成本可接受的情况下缩短联邦循环时间、减少本地资源浪费、提高全局模型的准确性。

    Oct, 2019

  • 无政府联邦学习

    本文提出了一种新的联邦学习模型 ——“Anarchic Federated Learning”，其中探索了参与联邦学习的工作者的自由度与收敛速度的平衡，并提出了两种算法，验证在现实数据集下的有效性以及成果。

    Aug, 2021

  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • CaBaFL：异步分层缓存和特征平衡的联合异步学习

    CaBaFL 是一种新颖的异步联邦学习方法，通过采用层次化基于缓存的聚合机制和基于特征平衡的设备选择策略，实现了对分布式人工智能物联网设备中存在的混乱与数据不平衡问题的有效解决，实验结果显示相比于现有的联邦学习方法，CaBaFL 实现了高达 9.26 倍的训练加速和 19.71% 的准确率提升。

    Apr, 2024

  • 带缓冲异步聚合的联邦学习中的无限梯度

    本文通过移除梯度范数有界的假设，对异步联邦学习算法 FedBuff 进行了理论分析，研究了数据异构性、批次大小和延迟等因素对算法收敛速度的影响，从而提高跨设备联邦学习的可扩展性。

    Oct, 2022

  • 异构联邦学习的稳健模型聚合：分析与优化

    通过引入时间驱动的异步聚合策略，以及使用区分性模型选择算法，提出了一种针对异构系统的同步联邦学习框架，该框架在提高系统效率和鲁棒性的同时，实现了对传统同步联邦学习的延迟减少 50% 和学习准确性平均提高 3% 的改进。

    May, 2024

  • 具双向量化通信与缓存聚合的异步联邦学习

    QAFeL 是一种新的算法，提出了一种量化方案，通过建立服务器和客户端之间的共享 “隐藏” 状态，避免直接量化导致的误差传播，从而高精度地减少客户端和服务器之间传输的数据量。该算法在理论上具有收敛保证，并通过标准基准上的实验证明了我们的分析。

    Aug, 2023

  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024