May, 2024

基于联邦动态平均的高效通信分布式深度学习

PDF
TL;DR由于数据的不断增长和去中心化特性，以及现代模型的不断增大，分布式深度学习 (Distributed Deep Learning, DDL) 已成为首选的训练范式。本文提出了一种名为联邦动态平均 (Federated Dynamic Averaging, FDA) 的通信高效的 DDL 策略，它根据模型方差的值动态触发同步，在广泛的学习任务实验中，我们证明 FDA 将通信成本减少了数个数量级，与传统和最新的通信高效算法相比。FDA 能在不牺牲收敛速度的情况下实现这一目标，这与该领域中的权衡相反。此外，我们还展示了 FDA 在多样的数据异质性设置中能够保持鲁棒性能。
distributed deep learningcommunication bottleneckfederated dynamic averagingcommunication-efficient algorithmsconvergence speed
发现论文，激发创造
  • 动态模型平均的高效分散式深度学习

    我们提出了一种高效的协议，用于分布式数据源的分散式深度神经网络训练，该协议允许同等处理模型训练的不同阶段，并快速适应概念偏移，这导致与周期性通信的最先进的方法相比，通信减少了一个数量级。此外，我们得出一个通信限制，该限制随序列化学习问题难度的增加而缩放得很好，通信的减少几乎没有代价，因为预测性能保持几乎不变。实验证实了模型性能和通信之间的权衡的显着改进，这可能有助于许多分散式学习应用，例如自动驾驶或移动电话上的语音识别和图像分类。

    Jul, 2018

  • 基于分散数据通信高效学习深度网络

    Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

    Feb, 2016

  • FedDM：基于迭代分布匹配的通信高效联邦学习

    本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

    Jul, 2022

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 边缘网络通信延迟中的联邦学习

    本研究提出了一种名为 “FedDelAvg” 的延迟加权算法，用于解决分布式机器学习模型训练中网络边缘设备之间的通信延迟问题，并通过理论分析和实验证明，在优化加权方案以考虑延迟的情况下，FedDelAvg 算法在收敛速度上取得了显著改善。

    Aug, 2020

  • 带双重正则化漂移校正的联邦优化

    分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

    Apr, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 使用联邦学习训练扩散模型

    我们提出了一种联合扩散模型方案，可以在不暴露本地数据的情况下独立和协作地训练扩散模型。通过对底层 UNet 骨干网的新颖利用，我们实现了在训练过程中参数交换数量的显著降低，最多可达 74％，而同时仍能保持与中心化设置相当的图像质量，依据 FID 分数评估。

    Jun, 2024

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022