Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

本文利用随机非凸设置提供了关于迭代复杂度的紧密下界，并针对现有的分散式训练算法的已知收敛速度之间的理论差距进行了实证比较，提出了 DeTAG，一种实用的闲话式分布式算法。

Jun, 2020

该研究论文介绍了一种新颖的分布式机器学习范式 —— 共识学习，它将经典的集成方法与点对点系统中部署的共识协议相结合。该算法包括两个阶段：参与者开发模型并对任何新的数据输入提交预测；个体预测作为输入参与通信阶段，该阶段由共识协议控制。共识学习保证用户数据隐私，同时继承底层共识机制对拜占庭攻击的安全措施。我们对特定共识协议进行了详细的理论分析，并将共识学习集成与集中式集成学习算法的性能进行了比较。此外，通过各种数字模拟，描述了算法对拜占庭参与者的鲁棒性。

Feb, 2024

本文讨论了如何在分布式环境下利用模型平均策略进行深度学习的训练，提出了采用循环学习率和增加本地模型训练轮数两种策略的方法，并在实验中证明了该方法在多个数据中心下具有竞争性的性能。

Oct, 2018

本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

Oct, 2020

该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

Jan, 2024

通过探索去中心化训练的强壮性、去中心化基础模型训练与联邦学习的根本区别以及确保强壮且高效的去中心化训练框架所需的基本组件，本文旨在强调在大型语言模型的去中心化训练上解决安全问题的重要性。

Dec, 2023

本文研究了多个分布式优化算法在面对不同客户端数据异构程度时的局限性，并提出了一种基于动量法的方法来减轻这种分布式训练困难。通过在多个数据集上的实验，结果表明我们提出的方法比其他现有方法更能够应对客户端数据异构性。

Feb, 2021

AdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。

Apr, 2024