该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，其中每个代理定期与其邻居通信以交换本地模型，然后通过随机梯度下降（SGD）更新其本地模型。通过引入两种方差减小方法（SAGA 和 LSVRG），该方法在消除了随机梯度噪声的负面影响后，实现了线性收敛速度和随机梯度噪声独立的学习误差，对基于总变异（TV）范数正则化和随机子梯度更新的方法具有最优的学习误差表现，并在广泛的拜占庭攻击实验中得到了验证。
Aug, 2023
本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。
Dec, 2019
本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。
Mar, 2018
联合考虑分布式学习中的隐私保护和拜占庭健壮性，研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架，采用高斯噪声进行隐私保护，并采用鲁棒聚合规则来对抗拜占庭攻击，分析了其学习误差和隐私保证，发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系，并通过数值实验验证了理论发现。
本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。
对于分布式训练场景来说，对拜占庭攻击的鲁棒性是必需的。本研究提供了几种（可证明的）适用于分布式变分不等式问题的拜占庭鲁棒方法，并全面研究了它们的理论收敛性，消除了先前工作的局限，并提供了支持理论发现的数值比较。
Nov, 2023
提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。
本文研究了多智能体网络中的有弹性、协作状态估计问题，在存在拜占庭故障的情况下，提出了一种计算效率高且能够抵御故障的算法，该算法通过坐标轴方向的修剪均值对消息进行聚合，并得出了在几乎一定的情况下，好的代理最终能够学习到真实参数这一结论。
Oct, 2018
本文研究对抗鲁棒的分布式随机优化，并提出了一种新算法 SafeguardSGD，它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术，可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配，同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。
Dec, 2020
研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。
May, 2020