ICMLMay, 2022

通过弹性平均动能简化拜占庭机器学习

PDF
TL;DR提出了一种名为 RESAM（RESilient Averaging of Momentums）的新的分布式机器学习框架，通过引入强大的 Byzantine resilience 机制实现分布式算法的快速收敛。
byzantine resiliencedistributed machine learningoptimization algorithmsresilient averagingdistributed momentum
发现论文，激发创造
  • 分布式动量算法在拜占庭容错学习中的应用

    本研究在分布式计算中证明了将 Momentum 方法实现在工作节点上，有利于提高抗拒绝服务攻击的聚合规则及提高鲁棒性的 SGD 分布式训练。

    Feb, 2020

  • 超越梯度的拜占庭容错学习：分布式进化搜索

    本文介绍一个更广泛的机器学习中拜占庭容忍的定义 ——“模型一致性”，并将这个定义与经典分布式一致性算法结合使用，生成了一种基于 Evolutionary Search 算法的分布式、拜占庭容忍、无梯度学习算法 —— 广义的（1,λ）进化搜索算法。文中提供了两种具体情况下的证明和伪代码，即全序广播和工作量证明。

    Apr, 2023

  • 异步拜占庭式机器学习（以 SGD 为例）

    本文介绍了一种分布式异步随机梯度下降算法，名为 Kardam，可以应对存在拜占庭工人的情况，并且具有自我稳定的过滤组件和调整梯度组件。实证结果表明，Kardam 具备对抗拜占庭行为的鲁棒性和收敛到全局最优解的能力，同时在处理干净工人的情况下也表现得更优秀。

    Feb, 2018

  • 通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

    本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

    Sep, 2019

  • 拜占庭容错机器学习

    本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

    Mar, 2017

  • 拜占庭分布式学习的隐形漏洞

    本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

    Feb, 2018

  • 从历史中学习的拜占庭鲁棒优化

    该论文研究了分布式和联邦学习中拜占庭容错性的问题，提出了两种新的稳健算法来解决已有算法的缺陷，并提供了代码解决方案。

    Dec, 2020

  • 利用 1-Center 和 1-Mean 聚类法处理带有离群值的分布式学习的近最优鲁棒聚合规则

    该研究论文讨论了拜占庭机器学习中安全抵御拜占庭机器的关键问题，并提出了一种基于异常值鲁棒聚类的近似聚集器，该方法在度量标准上表现出优越性，为均匀和异构情况提供了近乎最优的聚集器。基于研究结果，提出了一个两阶段的安全聚集框架，并通过图像分类实验验证了该框架的有效性。

    Dec, 2023

  • 拜占庭韧性高维联邦学习

    本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。

    Jun, 2020

  • Phocas: 具有维度特性的拜占庭容错随机梯度下降算法

    提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

    May, 2018