本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

Nov, 2023

提出了一种基于总变差正则化的适应于拜占庭攻击的随机子梯度优化算法，在去除拜占庭代理的情况下达到了最优解附近，并且在数值模拟实验中表现出优越的性能.

May, 2020

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

Feb, 2018

我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。

Jul, 2023

本文介绍一个更广泛的机器学习中拜占庭容忍的定义 ——“模型一致性”，并将这个定义与经典分布式一致性算法结合使用，生成了一种基于 Evolutionary Search 算法的分布式、拜占庭容忍、无梯度学习算法 —— 广义的（1,λ）进化搜索算法。文中提供了两种具体情况下的证明和伪代码，即全序广播和工作量证明。

Apr, 2023

本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行了理论上的收敛保证。

Jun, 2022

针对分布式变分不等式问题提出了一种统一的收敛分析方法和几种新的本地训练算法，采用了一般的随机估计假设，证明了算法的收敛性，同时解决了分布式最小化和最大化优化问题。

Jun, 2023

本研究旨在研究分布式在线学习在拜占庭攻击下的表现。通过使用一类最先进的强健合并规则，我们证明，即使在存在 byzantine 参与者和对抗性环境下，分布式在线梯度下降也只能实现线性对抗性后悔界限，并且我们可以将线性对抗性后悔的常数控制在合理水平。有趣的是，当环境不是完全对抗性时，我们展示了亚线性随机后悔的可能性，采用了一种拜占庭式强健分布式在线动量算法来实现。

Jul, 2023