Phocas: 具有维度特性的拜占庭容错随机梯度下降算法
提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则,并证明了这些聚合规则的拜占庭容错属性。实证分析表明,这些技术在现实场景和拜占庭攻击场景下优于当前方法。
Feb, 2018
研究了在分布式随机梯度下降的标杆攻击下,通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计,提出了一种新的矩阵集中结果,并且发现了在平稳强凸和非凸目标下,我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度,并且可以容忍达到 1/4 的标杆式工作者。
May, 2020
本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题,提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA,通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明,相较于分布式 SGD 方法,该方法具备更强的抗攻击性和更快的收敛速度。
Dec, 2019
本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降(SGD)算法来解决联邦学习的问题,通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法 ——Byzantine-Robust Stochastic Aggregation (RSA) 方法,用来应对 Byzantine 工人的攻击。RSA 方法不依赖于数据是独立同分布的假设,具有更广泛的适用性。理论上,RSA 收敛到一个接近最优解的解决方案,学习错误取决于 Byzantine 工作人员数目,收敛速率与没有 Byzantine 工人的随机梯度下降方法相同。数值实验表明,RSA 具有竞争性的性能和与现有算法相比较的复杂度降低。
Nov, 2018
本文研究在对抗性场景下,如何以拜占庭容错的方式进行分布式统计机器学习,以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法,在容忍拜占庭故障的同时,实现了参数的准确估计,算法的时间复杂度为 $O ((Nd/m) logN)$,通信成本为 $O (md logN)$。此外,我们还将该方法应用于线性回归问题。
May, 2017