ICMLMar, 2019

Zeno++: 强健完全异步的随机梯度下降算法

PDF
TL;DR提出了 Zeno++，这是一种新的、强大的异步随机梯度下降算法，可容忍工作节点的拜占庭失败，相比之前的工作，Zeno++ 取消了一些对工作节点到服务器通信的不切实际限制，允许匿名工作节点的完全异步更新，任意陈旧的工作节点更新以及无限多的拜占庭工作节点，并证明在拜占庭失败的情况下，Zeno++ 收敛于非凸问题，实验结果表明 Zeno++ 胜过了现有的方法。
发现论文，激发创造
  • Zeno：基于疑惑容错的分布式随机梯度下降算法

    Zeno 是一种分布式机器学习技术，特别是随机梯度下降，能够容忍任意数量的有缺陷的工作节点，其主要思想是通过可疑工人来提高容错能力，使用排名机制降低错误率，并证明了其收敛性，实验结果显示 Zeno 优于现有方法。

    May, 2018

  • Phocas: 具有维度特性的拜占庭容错随机梯度下降算法

    提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

    May, 2018

  • 拜占庭容错机器学习

    本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

    Mar, 2017

  • 广义拜占庭容错随机梯度下降

    提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则，并证明了这些聚合规则的拜占庭容错属性。实证分析表明，这些技术在现实场景和拜占庭攻击场景下优于当前方法。

    Feb, 2018

  • 拜占庭随机梯度下降

    本文研究了在对抗性环境下分布式随机优化问题，其中包括部分机器为拜占庭故障，提出了解决方案并证明了算法的采样和时间复杂度均达到信息上界。

    Mar, 2018

  • 具有随机梯度噪声独立学习误差的拜占庭鲁棒型分散式随机优化

    该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，其中每个代理定期与其邻居通信以交换本地模型，然后通过随机梯度下降（SGD）更新其本地模型。通过引入两种方差减小方法（SAGA 和 LSVRG），该方法在消除了随机梯度噪声的负面影响后，实现了线性收敛速度和随机梯度噪声独立的学习误差，对基于总变异（TV）范数正则化和随机子梯度更新的方法具有最优的学习误差表现，并在广泛的拜占庭攻击实验中得到了验证。

    Aug, 2023

  • 适用于异构数据的高维拜占庭鲁棒随机梯度下降

    研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

    May, 2020

  • 拜占庭容错的非凸随机梯度下降

    本文研究对抗鲁棒的分布式随机优化，并提出了一种新算法 SafeguardSGD，它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术，可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配，同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。

    Dec, 2020

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 异步拜占庭式机器学习（以 SGD 为例）

    本文介绍了一种分布式异步随机梯度下降算法，名为 Kardam，可以应对存在拜占庭工人的情况，并且具有自我稳定的过滤组件和调整梯度组件。实证结果表明，Kardam 具备对抗拜占庭行为的鲁棒性和收敛到全局最优解的能力，同时在处理干净工人的情况下也表现得更优秀。

    Feb, 2018