通过提出 DRACO 方法，利用连续通信在分布式网络中实现去中心化异步随机梯度下降，解决了分布式学习中的稳定收敛和通信计算耦合等问题，并通过收敛分析和数值实验验证了其有效性。

Jun, 2024

本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

DETOX 是一种分布式训练框架，通过算法冗余和鲁棒聚合相结合的方式提高了其可靠性，实现了对于拜占庭错误的容错性，且在多种机器学习任务中表现出比其他拜占庭容错方法更高的准确度和速度改进。

Jul, 2019

本文研究在对抗性场景下，如何以拜占庭容错的方式进行分布式统计机器学习，以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法，在容忍拜占庭故障的同时，实现了参数的准确估计，算法的时间复杂度为 $O ((Nd/m) logN)$，通信成本为 $O (md logN)$。此外，我们还将该方法应用于线性回归问题。

May, 2017

提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

May, 2018

本文介绍了一种可扩展的拜占庭容错分布式机器学习框架（BRIDGE），其提供了一些算法收敛和统计收敛保证，适用于强凸问题和一类非凸问题，并在大规模分散学习实验中证明其可扩展性和实用性。

Aug, 2019

提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

Nov, 2023

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了 RAGA 可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了 RAGA 在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

Mar, 2024

本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

Feb, 2018