我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。

Jul, 2023

本文研究在对抗性场景下，如何以拜占庭容错的方式进行分布式统计机器学习，以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法，在容忍拜占庭故障的同时，实现了参数的准确估计，算法的时间复杂度为 $O ((Nd/m) logN)$，通信成本为 $O (md logN)$。此外，我们还将该方法应用于线性回归问题。

May, 2017

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

Feb, 2018

该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了 RAGA 可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了 RAGA 在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

Mar, 2024

针对联邦学习中的拜占庭攻击和不同数据分布下聚合规则的局限性问题，提出一种名为 GAIN 的梯度分解方案，能够适应异构数据集并改进现有鲁棒算法的并行训练方法。

Feb, 2023

本文介绍了一种可扩展的拜占庭容错分布式机器学习框架（BRIDGE），其提供了一些算法收敛和统计收敛保证，适用于强凸问题和一类非凸问题，并在大规模分散学习实验中证明其可扩展性和实用性。

Aug, 2019

通过提取与神经网络拓扑特定的一定侧面信息，我们提出了一种混合稀疏拜占庭攻击，该攻击由两部分组成：一部分表现出稀疏特性，只攻击具有较高敏感性的神经网络位置，另一部分更加隐匿且随着时间积累，理想上每部分针对不同类型的防御机制，二者共同形成一种强大但不易察觉的攻击。最后，通过广泛模拟证明了所提出的混合拜占庭攻击对 8 种不同的防御方法是有效的。

Apr, 2024

本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。

Jun, 2020

本文针对基于梯度信息的对抗攻击方法，对深度学习模型的图嵌入算法的有效性造成了影响，提出了一种动量梯度攻击（Momentum Gradient Attack，MGA）算法。该方法通过将动量项融合到迭代过程中，可以稳定更新方向，使模型跳出较差的局部最优解，并增强了其转移能力，实现了更具侵略性的攻击。实验表明，MGA 算法具有更好的攻击效果和转移能力。

Feb, 2020