本文研究对抗鲁棒的分布式随机优化,并提出了一种新算法 SafeguardSGD,它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术,可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配,同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。
Dec, 2020
本文研究在对抗性场景下,如何以拜占庭容错的方式进行分布式统计机器学习,以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法,在容忍拜占庭故障的同时,实现了参数的准确估计,算法的时间复杂度为 $O ((Nd/m) logN)$,通信成本为 $O (md logN)$。此外,我们还将该方法应用于线性回归问题。
May, 2017
本研究考虑了在敌对环境下最小化一个期望函数的非凸分布式随机优化问题,在此基础上,提出了一种机制,通过使用一种新型的拜占庭过滤规则,可以保证算法收敛,并且能够捕捉网络中破损节点所带来的影响。
Dec, 2019
该研究探讨了分布式网络中拜占庭鲁棒随机优化问题,其中每个代理定期与其邻居通信以交换本地模型,然后通过随机梯度下降(SGD)更新其本地模型。通过引入两种方差减小方法(SAGA 和 LSVRG),该方法在消除了随机梯度噪声的负面影响后,实现了线性收敛速度和随机梯度噪声独立的学习误差,对基于总变异(TV)范数正则化和随机子梯度更新的方法具有最优的学习误差表现,并在广泛的拜占庭攻击实验中得到了验证。
Aug, 2023
研究了在分布式随机梯度下降的标杆攻击下,通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计,提出了一种新的矩阵集中结果,并且发现了在平稳强凸和非凸目标下,我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度,并且可以容忍达到 1/4 的标杆式工作者。
May, 2020
本文提出了一种新的聚合规则 Bulyan,可以有效地保护分布式随机梯度下降算法免受对抗攻击,缩小攻击者留下的空间,并提高算法的收敛性能。
Feb, 2018
本文研究了分布式机器学习中的拜占庭错误容错问题,提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。
Mar, 2017
本文提出了一种名为 S2GD 的新方法,为解决优化大量平滑凸损失函数的平均最小化问题,文章指出其期望工作量可以通过几个步骤推导得出。
Dec, 2013
提出了一种基于总变差正则化的适应于拜占庭攻击的随机子梯度优化算法,在去除拜占庭代理的情况下达到了最优解附近,并且在数值模拟实验中表现出优越的性能.
提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则,攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据,通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。
May, 2018