通过编码理论，我们提出了 DRACO，一个可伸缩的分布式训练框架，用于解决分布式模型训练中的拜占庭系统故障和对抗计算节点等问题，DRACO 具有问题无关的鲁棒性保证，并且训练的模型与无对手的设置中训练的模型相同。

Mar, 2018

本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

Mar, 2022

本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Feb, 2020

提出了基于生成优化网络（GON）的内存高效的深度学习模型，以及一个名为 DRAGON 的去中心化容错方法，用于优化边缘联合性能，实验结果显示，该方法在故障检测和服务质量方面优于基准方法，能够将能量消耗、响应时间和服务水平协议的违规率提高高达 74％、63％和 82％。

Aug, 2022

分布机器学习中的去中心化和异步通信是提高通信复杂性的两种流行技术，而将这两种技术结合起来仍然是一个挑战。本文引入了一种名为 AGRAF SGD 的异步 SGD 算法框架，它包括了许多流行算法的异步版本，如 SGD、去中心化 SGD、本地 SGD 和 FedBuff，通过放松通信和计算假设，我们提供了比以前的去中心化异步工作更温和的收敛性速度，同时仍然恢复或甚至改善了所有涵盖算法的最佳结果。

Nov, 2023

通过优化通信链路的混合权重，提出了一种被称为 Soft-DSGD 的鲁棒性分散式随机梯度下降方法，它能够在通信不可靠的情况下实现相同的渐近收敛速率的分散式训练系统，同时利用所有可用的非可靠通信链路加速收敛。

Aug, 2021

研究异步传播模型下去中心化优化算法的收敛性，提出一种称为 SwarmSGD 的变量 SGD 算法，使用多维负载平衡过程连接进行分析，并在超级计算环境中表现出比以前的去中心化算法和大批次 SGD 更好的性能。

Oct, 2019

本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

May, 2022

提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

Jul, 2021

本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

Jun, 2019