AAAINov, 2018

RSA: 分布式异构数据学习的拜占庭容错随机聚合方法

PDF
TL;DR本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法 ——Byzantine-Robust Stochastic Aggregation (RSA) 方法，用来应对 Byzantine 工人的攻击。RSA 方法不依赖于数据是独立同分布的假设，具有更广泛的适用性。理论上，RSA 收敛到一个接近最优解的解决方案，学习错误取决于 Byzantine 工作人员数目，收敛速率与没有 Byzantine 工人的随机梯度下降方法相同。数值实验表明，RSA 具有竞争性的性能和与现有算法相比较的复杂度降低。
发现论文，激发创造
  • 具有拜占庭攻击鲁棒性的联邦方差减少随机梯度下降

    本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题，提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA，通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明，相较于分布式 SGD 方法，该方法具备更强的抗攻击性和更快的收敛速度。

    Dec, 2019

  • 具有随机梯度噪声独立学习误差的拜占庭鲁棒型分散式随机优化

    该研究探讨了分布式网络中拜占庭鲁棒随机优化问题，其中每个代理定期与其邻居通信以交换本地模型，然后通过随机梯度下降（SGD）更新其本地模型。通过引入两种方差减小方法（SAGA 和 LSVRG），该方法在消除了随机梯度噪声的负面影响后，实现了线性收敛速度和随机梯度噪声独立的学习误差，对基于总变异（TV）范数正则化和随机子梯度更新的方法具有最优的学习误差表现，并在广泛的拜占庭攻击实验中得到了验证。

    Aug, 2023

  • 适用于异构数据的高维拜占庭鲁棒随机梯度下降

    研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

    May, 2020

  • 广义拜占庭容错随机梯度下降

    提出三种针对分布式同步随机梯度下降在一般拜占庭故障模型下的鲁棒聚合规则，并证明了这些聚合规则的拜占庭容错属性。实证分析表明，这些技术在现实场景和拜占庭攻击场景下优于当前方法。

    Feb, 2018

  • Phocas: 具有维度特性的拜占庭容错随机梯度下降算法

    提出一种新颖的、在一般拜占庭故障模型下的分布式同步随机梯度下降的鲁棒聚合规则，攻击者可以任意操纵参数服务器结构中服务器和工作节点之间传输的数据，通过实证分析发现该方法优于目前的方法在真实使用情景和拜占庭攻击场景中。

    May, 2018

  • 拜占庭容错分布式学习：追求最优的统计速率

    本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

    Mar, 2018

  • BROADCAST: 减少随机噪声和压缩噪声以增强通信效率的联邦学习

    本文探讨了在大规模联邦学习中由于通信过载而引起的压缩问题，提出了一种可减少噪声并提高拜占庭攻击鲁棒性的压缩梯度差分方法，并提供了理论证明和数值实验结果。

    Apr, 2021

  • 拜占庭容错机器学习

    本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

    Mar, 2017

  • 高维度分布式梯度下降与任意数量的拜占庭攻击者

    我们设计了一个适用于高维问题的新方法，可以在任意数量的拜占庭攻击者下进行高效分布式学习，并采用半验证的均值估计方法实现，通过从工作机上传的梯度向量估计均值值的分量以及通过辅助数据集估计子空间内的分量，最终以我们的新方法作为分布式学习聚合器。理论分析表明，该新方法具有极小极大统计速率，并且与之前的方法相比，在维度依赖性方面得到了显着改进。

    Jul, 2023

  • 通过模型聚合实现差分隐私和拜占庭容错的桥接

    本文提出了一种基于稳健随机模型聚合的差分隐私机制，解决了联邦学习中的差分隐私和拜占庭容错性问题，并分析了隐私保护和学习性能之间的权衡关系。

    Apr, 2022