本文研究在对抗性场景下，如何以拜占庭容错的方式进行分布式统计机器学习，以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法，在容忍拜占庭故障的同时，实现了参数的准确估计，算法的时间复杂度为 $O ((Nd/m) logN)$，通信成本为 $O (md logN)$。此外，我们还将该方法应用于线性回归问题。

May, 2017

本文研究边缘联邦学习中的随机凸和非凸优化问题，以解决处理重尾数据时现有算法的不足，并同时保持拜占庭鲁棒性，通信效率和最佳统计误差率。我们提出了两种算法，分别是具有拜占庭鲁棒性的分布式梯度下降算法，以及结合梯度压缩技术的通信开销较小的算法。理论分析表明，我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后，我们在合成和现实世界数据集上进行了广泛的实验，以验证算法的有效性。

Mar, 2023

本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

Nov, 2019

本文提出了一种安全的梯度下降算法，针对在训练模型时存在被攻击的情况，使模型可以容错地处理最多 $q/m=O (1)$ 的拜占庭式错误的工人，同时使用过滤程序来聚合合格梯度，从而收敛于真实的梯度函数，并在其技术前沿建立了一种新的矩阵集中不等式。

Apr, 2018

提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

Nov, 2023

本研究旨在研究分布式在线学习在拜占庭攻击下的表现。通过使用一类最先进的强健合并规则，我们证明，即使在存在 byzantine 参与者和对抗性环境下，分布式在线梯度下降也只能实现线性对抗性后悔界限，并且我们可以将线性对抗性后悔的常数控制在合理水平。有趣的是，当环境不是完全对抗性时，我们展示了亚线性随机后悔的可能性，采用了一种拜占庭式强健分布式在线动量算法来实现。

Jul, 2023

在强凸损失函数方面，通过改进维度依赖性，我们提出了拜占庭安全的联邦学习协议，并取得了接近最优的统计速率，并且通过桶聚合和隐私保护措施的自然结合，增强了安全性。

May, 2022

我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。

Jul, 2023

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

Feb, 2018