提出了一种名为 RESAM（RESilient Averaging of Momentums）的新的分布式机器学习框架，通过引入强大的 Byzantine resilience 机制实现分布式算法的快速收敛。

May, 2022

提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。

Jul, 2019

本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

Oct, 2020

通过对分布式动量法中的有偏梯度估计建立非渐近收敛界限，并且在元学习和压缩梯度等特殊情况下证明动量法在训练深度神经网络中比传统有偏梯度下降方法有更快的收敛性能。

Feb, 2024

该论文研究了分布式和联邦学习中拜占庭容错性的问题，提出了两种新的稳健算法来解决已有算法的缺陷，并提供了代码解决方案。

Dec, 2020

提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则，并证明了这些聚合规则的拜占庭容错属性。实证分析表明，这些技术在现实场景和拜占庭攻击场景下优于当前方法。

Feb, 2018

提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

May, 2018

本文研究了分布式优化方法在深度学习中的应用，发现分布式动量随机梯度下降在性能、通讯效率方面存在一定优势，并证明其拥有与分布式随机梯度下降相同的线性加速性质。

May, 2019

本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

Mar, 2017

该论文提出了一种基于 SlowMo 的分布式优化方法，它采取了一种新的策略来减少通信开销，该方法相对于传统方法在优化和一般化性能上都有所提高，并给出了收敛保证。

Oct, 2019