Oct, 2019

SAFA: 一种针对低开销的快速联邦学习的半同步协议

PDF
TL;DR本文提出 SAFA 半异步联邦学习协议，通过在模型分发、客户端选择和全局聚合的步骤中引入新设计来缓解滞后、崩溃和模型陈旧的影响，以提高效率和改善全局模型的质量，从而在通信成本可接受的情况下缩短联邦循环时间、减少本地资源浪费、提高全局模型的准确性。
federated learningsemi-asynchronous fl protocolstragglersmodel stalenesscommunication cost
发现论文，激发创造
  • 了解不完全客户参与下的服务器辅助联合学习

    现有联邦学习中存在的问题主要集中在不完全用户参与和理解的理论方面，本文通过提出服务器辅助联邦学习框架，解决了不完全客户参与的问题，并通过实验验证了其性能改进。

    May, 2024

  • FedFa：一种用于联邦学习的完全异步训练范式

    FedFa 是一种完全异步的训练范式，通过在服务器上使用少量缓冲结果进行参数更新，可以确保联邦学习的模型收敛并完全消除等待时间，实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能，并且保持了较高的准确性。

    Apr, 2024

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • SaFL：面部识别系统中具备 Sybil 感知能力的联邦学习

    使用 Sybil 感知的联邦学习（SaFL）的新防御方法，通过一种新颖的时变聚合方案最小化 sybil 的影响。

    Nov, 2023

  • 基于随机逼近的联邦机器学习方法

    本论文研究了在随机逼近框架中的联邦学习（FL）。FL 是一种协作方式，可以在各个参与方或客户端之间训练神经网络模型，而不需要将它们的数据集中。每个客户端将在其相应数据上训练模型，并定期将权重发送至服务器进行聚合。服务器聚合这些权重，由客户端使用来重新初始化其神经网络并继续训练。该论文利用随机逼近迭代来更新客户端神经网络的权重，并展示了聚合权重跟踪自主 ODE。通过数值模拟并与 FedAvg 和 FedProx 等标准算法进行比较，观察到该算法具有鲁棒性，在客户端数据不完全相同时给出更可靠的权重估计。

    Feb, 2024

  • 在设备任意不可用情况下的快速联邦学习

    本研究提出了一种名为 Memory-augmented Impatient Federated Averaging （MIFA）的算法来应对 Federated Learning 中设备不可用的问题，该算法有效地避免了不活跃设备带来的过度延迟，并使用从设备中记忆的最新更新来校正梯度偏差，并证明了 MIFA 在强凸和非凸顺滑函数的非独立同分布数据上实现了极小化最优收敛率。经过实验验证，该算法真实世界数据集取得了良好的结果。

    Jun, 2021

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • FedAST: 分布式异步同时训练

    提出了一个缓冲异步联邦同时训练算法 FedAST，通过克服模型缓慢和自适应分配异构任务的客户资源来解决瓶颈问题，实验证明与现有同时联邦学习方法相比，能够达到多任务训练时间的最多 46.0% 的减少。

    Jun, 2024

  • 缓冲异步安全聚合用于跨设备联邦学习

    异步联邦学习中设备异构性的挑战与现有的用于保护用户隐私的安全聚合协议不兼容，本文提出了一种名为缓冲式异步安全聚合（BASA）的新颖安全聚合协议，BASA 与异步联邦学习完全兼容，并在用户之间无需任何同步交互的条件下，为交换一轮与服务器的通信提供了安全聚合。基于 BASA，我们提出了第一种无需额外硬件要求实现安全聚合的异步联邦学习方法，并通过实验证明 BASA 在交叉设备联邦学习中的训练效率和可扩展性优于现有的安全聚合协议。

    Jun, 2024

  • FAVAS: 带异步客户端的联邦平均

    本文提出了 FAVAS 算法，采用集中式的异步联邦学习方式，在资源有限的环境下训练深度神经网络，并提供算法的收敛保证和实验结果的比较。

    May, 2023