本文研究在对抗性场景下，如何以拜占庭容错的方式进行分布式统计机器学习，以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法，在容忍拜占庭故障的同时，实现了参数的准确估计，算法的时间复杂度为 $O ((Nd/m) logN)$，通信成本为 $O (md logN)$。此外，我们还将该方法应用于线性回归问题。

May, 2017

研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

May, 2020

本文提出了一种安全的梯度下降算法，针对在训练模型时存在被攻击的情况，使模型可以容错地处理最多 $q/m=O (1)$ 的拜占庭式错误的工人，同时使用过滤程序来聚合合格梯度，从而收敛于真实的梯度函数，并在其技术前沿建立了一种新的矩阵集中不等式。

Apr, 2018

本文提出了选举编码，一种编码理论框架，用于保证在 SignSGD 中的拜占庭容错能力，能够在两个方向上传输最小的工人 - 主节点通信，探索了在一些工人可能是恶意的情况下找到多数意见的新信息论极限，并提供了可以容忍 Byzantine 攻击的两种明确代码类型：随机 Bernoulli 代码和确定性的代数代码。

Oct, 2019

本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。

Mar, 2018

本文介绍了一种分布式梯度下降方法，该方法使用编码理论并考虑存在 stragglers 的情况，以恰当的机器学习问题为应用场景，理论证明了在给定机器计算能力的情况下，可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度，并提供了一个理论模型来最小化方案参数，从而最小化期望等待时间。最终，数值实验表明了该方法的优越性。

Jun, 2017

提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

May, 2018

我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。

Jul, 2023

本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

Nov, 2019

该论文提出了一种使用低密度生成矩阵代码的分布式随机梯度下降方案，通过该方案可以在低计算成本下得到高质量的无偏梯度估计，进而改善整体性能。

Jan, 2019