May, 2020

适用于异构数据的高维拜占庭鲁棒随机梯度下降

PDF
TL;DR研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。
distributed stochastic gradient descentbyzantine attacksheterogeneous data modeloutlier-filtering procedurebyzantine-resilient sgd algorithm
发现论文，激发创造
  • 拜占庭韧性高维联邦学习

    本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。

    Jun, 2020

  • 拜占庭分布式学习的隐形漏洞

    本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

    Feb, 2018

  • 拜占庭容错的非凸随机梯度下降

    本文研究对抗鲁棒的分布式随机优化，并提出了一种新算法 SafeguardSGD，它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术，可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配，同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。

    Dec, 2020

  • 拜占庭容错机器学习

    本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

    Mar, 2017

  • Phocas: 具有维度特性的拜占庭容错随机梯度下降算法

    提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

    May, 2018

  • 高维统计学习中分布式梯度下降的安全保障

    本文提出了一种安全的梯度下降算法，针对在训练模型时存在被攻击的情况，使模型可以容错地处理最多 $q/m=O (1)$ 的拜占庭式错误的工人，同时使用过滤程序来聚合合格梯度，从而收敛于真实的梯度函数，并在其技术前沿建立了一种新的矩阵集中不等式。

    Apr, 2018

  • 广义拜占庭容错随机梯度下降

    提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则，并证明了这些聚合规则的拜占庭容错属性。实证分析表明，这些技术在现实场景和拜占庭攻击场景下优于当前方法。

    Feb, 2018

  • 具有拜占庭攻击鲁棒性的联邦方差减少随机梯度下降

    本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

    Dec, 2019

  • 拜占庭随机梯度下降

    本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。

    Mar, 2018

  • RSA: 分布式异构数据学习的拜占庭容错随机聚合方法

    本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法 ——Byzantine-Robust Stochastic Aggregation (RSA) 方法，用来应对 Byzantine 工人的攻击。RSA 方法不依赖于数据是独立同分布的假设，具有更广泛的适用性。理论上，RSA 收敛到一个接近最优解的解决方案，学习错误取决于 Byzantine 工作人员数目，收敛速率与没有 Byzantine 工人的随机梯度下降方法相同。数值实验表明，RSA 具有竞争性的性能和与现有算法相比较的复杂度降低。

    Nov, 2018