本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

Mar, 2017

本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

Feb, 2018

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

Nov, 2023

本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法 ——Byzantine-Robust Stochastic Aggregation (RSA) 方法，用来应对 Byzantine 工人的攻击。RSA 方法不依赖于数据是独立同分布的假设，具有更广泛的适用性。理论上，RSA 收敛到一个接近最优解的解决方案，学习错误取决于 Byzantine 工作人员数目，收敛速率与没有 Byzantine 工人的随机梯度下降方法相同。数值实验表明，RSA 具有竞争性的性能和与现有算法相比较的复杂度降低。

Nov, 2018

研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

May, 2020

提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则，并证明了这些聚合规则的拜占庭容错属性。实证分析表明，这些技术在现实场景和拜占庭攻击场景下优于当前方法。

Feb, 2018

本文提出了一个 Robust Gradient Classification Framework（RGCF）用于在分布式随机梯度下降中实现拜占庭容错。该框架包括一个模式识别过滤器，我们通过仅使用梯度的方向训练它，使其能够将单个梯度分类为拜占庭式的。此解决方案不需要估计拜占庭式工作者的数量；其运行时间不依赖于工作者的数量，并且可以扩展到具有大量工作者的训练实例而不会丧失性能。

Jan, 2023

本文提出了选举编码，一种编码理论框架，用于保证在 SignSGD 中的拜占庭容错能力，能够在两个方向上传输最小的工人 - 主节点通信，探索了在一些工人可能是恶意的情况下找到多数意见的新信息论极限，并提供了可以容忍 Byzantine 攻击的两种明确代码类型：随机 Bernoulli 代码和确定性的代数代码。

Oct, 2019

提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

May, 2018