异步拜占庭式机器学习（以SGD为例）
本文提出了一种新的利普希茨坐标中值方法(LICM-SGD)来降低拜占庭攻击对分布式学习中基于随机梯度下降(SGD)的分布式算法的影响。该算法不需要关于攻击者数量和利普希茨常数的任何信息，在实现中具有吸引力，并且在多分类逻辑回归和卷积神经网络的训练中的MNIST和CIFAR-10数据集上，该算法始终表现出色，并且具有更快的运行时间。
Sep, 2019
研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。
May, 2020
本文提出了一种在恶意/拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
本文研究了在标准参数服务器架构下，分布式 SGD 算法能否在部分节点受到 Byzantine 攻击，另一部分节点提供加噪的信息以保证 DP 的情况下，学习一个准确的模型。研究发现，在保证 DP 的情况下，现有的对于分布式 SGD 在 Byzantine 错误下的收敛性结果是无效的；通过重新调整学习算法，本文提供了关键性见解，基于 BR 的理论提供了近似收敛保证。
Oct, 2021
提出了一种名为RESAM（RESilient Averaging of Momentums）的新的分布式机器学习框架，通过引入强大的Byzantine resilience机制实现分布式算法的快速收敛。
May, 2022
本文提出了一个Robust Gradient Classification Framework（RGCF）用于在分布式随机梯度下降中实现拜占庭容错。该框架包括一个模式识别过滤器，我们通过仅使用梯度的方向训练它，使其能够将单个梯度分类为拜占庭式的。此解决方案不需要估计拜占庭式工作者的数量;其运行时间不依赖于工作者的数量，并且可以扩展到具有大量工作者的训练实例而不会丧失性能。
Jan, 2023
通过无需辅助服务器数据集并且不受落后节点限制的拜占庭容错和异步联邦学习算法，我们的解决方案可以更快地训练模型，在梯度反转攻击下最多能保持1.54倍准确率，而在扰动攻击下最多能保持1.75倍准确率。
Jun, 2024
本文针对分布式学习中拜占庭鲁棒性和通信效率的关键挑战，提出了一种新颖的随机分布式学习方法。该方法不对批大小有要求，能够收敛到比现有方法更小的解邻域，同时通过利用Polyak动量来减轻偏置压缩器和随机梯度带来的噪声，展现出显著的实用价值和理论优势。
Sep, 2024