Sep, 2024

基于压缩动量过滤的拜占庭鲁棒与通信高效的分布式学习

HTML
PDF
TL;DR本文针对分布式学习中拜占庭鲁棒性和通信效率的关键挑战，提出了一种新颖的随机分布式学习方法。该方法不对批大小有要求，能够收敛到比现有方法更小的解邻域，同时通过利用Polyak动量来减轻偏置压缩器和随机梯度带来的噪声，展现出显著的实用价值和理论优势。
发现论文，激发创造
  • 拜占庭容错分布式学习：追求最优的统计速率

    本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

    Mar, 2018

  • 抵御拜占庭容错分布式学习的鞍点攻击

    该研究探讨了在Byzantine设置下使用鞍点来最小化非凸损失函数的鲁棒分布式学习算法，提出了一种名为ByzantinePGD的算法来逃脱鞍点并收敛到真实局部最小值，通过三种鲁棒梯度估计器的性能特征，论证了它们在低维和高维时的近最优性。

    Jun, 2018

  • 具容错机制和高通信效率的分布式学习模型

    本篇论文介绍了一种分布式学习算法, 通过采用压缩梯度和梯度阈值等方法, 减少了拜占庭故障的影响, 并提高了通信效率, 以达到优化分布式机器学习的目的。

    Nov, 2019

  • 分布式动量算法在拜占庭容错学习中的应用

    本研究在分布式计算中证明了将Momentum方法实现在工作节点上，有利于提高抗拒绝服务攻击的聚合规则及提高鲁棒性的SGD分布式训练。

    Feb, 2020

  • 从历史中学习的拜占庭鲁棒优化

    该论文研究了分布式和联邦学习中拜占庭容错性的问题，提出了两种新的稳健算法来解决已有算法的缺陷，并提供了代码解决方案。

    Dec, 2020

  • 拜占庭容错的非凸随机梯度下降

    本文研究对抗鲁棒的分布式随机优化，并提出了一种新算法 SafeguardSGD，它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术，可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配，同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。

    Dec, 2020

  • 方差降低是拜占庭问题的解药：更好的收敛速率，较弱的假设条件，以及通信压缩作为锦上添花

    本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行了理论上的收敛保证。

    Jun, 2022

  • 拜占庭-鲁棒分布式学习的最佳批量大小

    研究了在固定梯度计算次数的情况下，当存在拜占庭式攻击时，Byzantine-robust distributed learning中的最佳批处理大小应该增加，提出了一种新的BRDL方法ByzSGDnm，可以在大批处理案例中减轻模型准确性下降问题，并在拜占庭攻击情况下证明其收敛性。

    May, 2023

  • 拜占庭强健学习的通信压缩：新的高效算法和改进的速率

    通过压缩和收敛速率，提出了两种新的拜占庭容错化方法，并证明了它们在非凸和Polyak-Lojasiewicz平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点；同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法，并推导了这些方法在非凸和Polyak-Lojasiewicz平滑情况下的收敛速率，并通过数值实验证明了理论发现。

    Oct, 2023

  • 拜占庭健壮性和部分参与可以同时实现：只需裁剪梯度差异

    提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

    Nov, 2023