Mar, 2023

边缘拜占庭容错联邦学习

PDF
TL;DR本文研究边缘联邦学习中的随机凸和非凸优化问题，以解决处理重尾数据时现有算法的不足，并同时保持拜占庭鲁棒性，通信效率和最佳统计误差率。我们提出了两种算法，分别是具有拜占庭鲁棒性的分布式梯度下降算法，以及结合梯度压缩技术的通信开销较小的算法。理论分析表明，我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后，我们在合成和现实世界数据集上进行了广泛的实验，以验证算法的有效性。
byzantine resiliencecommunication efficiencyfederated learningstochastic optimizationheavy-tailed data
发现论文，激发创造
  • 拜占庭容错分布式学习：追求最优的统计速率

    本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

    Mar, 2018

  • 拜占庭韧性高维联邦学习

    本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降（SGD）算法来解决联邦学习的问题，通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。

    Jun, 2020

  • 拜占庭强健学习的通信压缩：新的高效算法和改进的速率

    通过压缩和收敛速率，提出了两种新的拜占庭容错化方法，并证明了它们在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点；同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法，并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率，并通过数值实验证明了理论发现。

    Oct, 2023

  • 具容错机制和高通信效率的分布式学习模型

    本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

    Nov, 2019

  • 异构环境下的健壮联邦学习

    在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

    Jun, 2019

  • 拜占庭容错的非凸随机梯度下降

    本文研究对抗鲁棒的分布式随机优化，并提出了一种新算法 SafeguardSGD，它可以确定性地避开鞍点并找到非凸目标的近似局部最小值。该算法基于一种新的集中过滤技术，可证明其样本和时间复杂性边界与之前的最佳理论边界相匹配，同时它也是第一种能够抵御两种最近提出的拜占庭攻击的方法。该算法在训练深度神经网络方面的表现优于所有先前的方法。

    Dec, 2020

  • 实用的差分隐私和拜占庭容错联邦学习

    本文提出了一种解决联邦学习中隐私和拜占庭容错性的算法，通过使用差分隐私随机梯度下降算法保护隐私，并应用拜占庭容错算法，最终实现高精度和拜占庭攻击的抵抗。

    Apr, 2023

  • 适用于异构数据的高维拜占庭鲁棒随机梯度下降

    研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

    May, 2020

  • 具有最优统计速率和隐私保证的拜占庭鲁棒联邦学习

    在强凸损失函数方面，通过改进维度依赖性，我们提出了拜占庭安全的联邦学习协议，并取得了接近最优的统计速率，并且通过桶聚合和隐私保护措施的自然结合，增强了安全性。

    May, 2022

  • BRIDGE: 拜占庭容错的分布式梯度下降算法

    本文介绍了一种可扩展的拜占庭容错分布式机器学习框架（BRIDGE），其提供了一些算法收敛和统计收敛保证，适用于强凸问题和一类非凸问题，并在大规模分散学习实验中证明其可扩展性和实用性。

    Aug, 2019