Mar, 2019

异步模型更新和时间加权聚合的通信高效联邦深度学习

PDF
TL;DR该研究提出了一种改进的联邦学习技术，采用同步学习策略和服务器上的时态加权聚合，而异步学习策略中不同深度的神经网络层被归类为浅层和深层，并且深层的参数更新频率低于浅层。并且还介绍了一种时态加权聚合策略，以利用以前训练过的本地模型，从而提高了中央模型的准确性和收敛性。该算法在两个不同的深度神经网络数据集上得出了实证结果，证明了该异步联邦深度学习算法在通信成本和模型准确性方面优于基线算法。
federated learningsynchronous learningasynchronous learningtemporally weighted aggregationdeep neural networks
发现论文，激发创造
  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016

  • 联邦学习的聚合服务：高效、安全、更具韧性的实现

    本文介绍了一个基于轻量级加密和数据混淆的联邦学习系统，结合恰当的带宽效率优化和对云服务器主动攻击的安全保护机制，在保证客户端数据隐私的前提下，整合来自多源的数据进行联合训练，并在多项数据集（MNIST、CIFAR-10、CelebA）上验证该系统的可行性及精度。

    Feb, 2022

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 具有全局动量加速的通信高效联邦学习

    提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

    Jan, 2022

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 主动联邦学习

    该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

    Sep, 2019

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • 降低轮次数和加入更少聚合高斯噪音的异步联邦学习与差分隐私

    我们提出了一种异步联邦学习算法，通过减少通信次数来降低等待时间和整体网络通信，在强凸目标函数上提供了严格的理论分析并提供了模拟结果。通过添加高斯噪声，我们展示了我们的算法如何变得不同 ially private - 新的定理表明，聚合的高斯噪声显着降低了。

    Jul, 2020

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020