通过编码理论，我们提出了 DRACO，一个可伸缩的分布式训练框架，用于解决分布式模型训练中的拜占庭系统故障和对抗计算节点等问题，DRACO 具有问题无关的鲁棒性保证，并且训练的模型与无对手的设置中训练的模型相同。

Mar, 2018

针对联邦学习中的拜占庭攻击和不同数据分布下聚合规则的局限性问题，提出一种名为 GAIN 的梯度分解方案，能够适应异构数据集并改进现有鲁棒算法的并行训练方法。

Feb, 2023

本文介绍了一种可扩展的拜占庭容错分布式机器学习框架（BRIDGE），其提供了一些算法收敛和统计收敛保证，适用于强凸问题和一类非凸问题，并在大规模分散学习实验中证明其可扩展性和实用性。

Aug, 2019

本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

Dec, 2019

通过 HIDRA 攻击揭示了维度独立偏差的强防守的实际可能存在的漏洞，这对维度高的聚合算法设计提出了挑战，并暗示了这一领域中中毒攻击与可证明的防御之间的竞争仍然悬而未决。

Dec, 2023

本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

通过引入中心修剪元聚合器和双动量策略梯度估计技术，本文研究了分布式机器学习系统中拜占庭鲁棒训练的挑战性框架，着重提高效率和实用性，简化调整过程并减少超参数的依赖。

May, 2024

提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

Nov, 2023

本研究提出了一种新颖的鲁棒聚合方法 FedRAD，该方法能够检测对手并基于中位数统计量的特性鲁棒地聚合本地模型，并执行一种适应的集成知识蒸馏。大量实验表明，FedRAD 在对手存在以及数据分布异构方面胜过其他聚合器。

Dec, 2021

该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了 RAGA 可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了 RAGA 在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

Mar, 2024