Oct, 2021

在分布式 SGD 中结合差分隐私和拜占庭容错

PDF
TL;DR本文研究了在标准参数服务器架构下，分布式 SGD 算法能否在部分节点受到 Byzantine 攻击，另一部分节点提供加噪的信息以保证 DP 的情况下，学习一个准确的模型。研究发现，在保证 DP 的情况下，现有的对于分布式 SGD 在 Byzantine 错误下的收敛性结果是无效的；通过重新调整学习算法，本文提供了关键性见解，基于 BR 的理论提供了近似收敛保证。
distributed machine learningbyzantine resilienceprivacysgd algorithmdifferential privacy
发现论文，激发创造
  • 实用的差分隐私和拜占庭容错联邦学习

    本文提出了一种解决联邦学习中隐私和拜占庭容错性的算法，通过使用差分隐私随机梯度下降算法保护隐私，并应用拜占庭容错算法，最终实现高精度和拜占庭攻击的抵抗。

    Apr, 2023

  • 通过模型聚合实现差分隐私和拜占庭容错的桥接

    本文提出了一种基于稳健随机模型聚合的差分隐私机制，解决了联邦学习中的差分隐私和拜占庭容错性问题，并分析了隐私保护和学习性能之间的权衡关系。

    Apr, 2022

  • 拜占庭分布式学习的隐形漏洞

    本文提出了一种新的聚合规则 Bulyan，可以有效地保护分布式随机梯度下降算法免受对抗攻击，缩小攻击者留下的空间，并提高算法的收敛性能。

    Feb, 2018

  • BRIDGE: 拜占庭容错的分布式梯度下降算法

    本文介绍了一种可扩展的拜占庭容错分布式机器学习框架（BRIDGE），其提供了一些算法收敛和统计收敛保证，适用于强凸问题和一类非凸问题，并在大规模分散学习实验中证明其可扩展性和实用性。

    Aug, 2019

  • 关于去中心化学习中隐私保护与拜占庭鲁棒性之间的权衡

    联合考虑分布式学习中的隐私保护和拜占庭健壮性，研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架，采用高斯噪声进行隐私保护，并采用鲁棒聚合规则来对抗拜占庭攻击，分析了其学习误差和隐私保证，发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系，并通过数值实验验证了理论发现。

    Aug, 2023

  • 适用于异构数据的高维拜占庭鲁棒随机梯度下降

    研究了在分布式随机梯度下降的标杆攻击下，通过采用异构数据模型和基于多项式时间的离群值过滤程序进行梯度的鲁棒均值估计，提出了一种新的矩阵集中结果，并且发现了在平稳强凸和非凸目标下，我们的算法可以达到和贝叶斯自由设置中的 SGF 相同的收敛速度，并且可以容忍达到 1/4 的标杆式工作者。

    May, 2020

  • 拜占庭容错机器学习

    本文研究了分布式机器学习中的拜占庭错误容错问题，提出了基于 Krum 的更新规则来保证算法的鲁棒性和收敛性。

    Mar, 2017

  • 超越梯度的拜占庭容错学习：分布式进化搜索

    本文介绍一个更广泛的机器学习中拜占庭容忍的定义 ——“模型一致性”，并将这个定义与经典分布式一致性算法结合使用，生成了一种基于 Evolutionary Search 算法的分布式、拜占庭容忍、无梯度学习算法 —— 广义的（1,λ）进化搜索算法。文中提供了两种具体情况下的证明和伪代码，即全序广播和工作量证明。

    Apr, 2023

  • 拜占庭健壮性和部分参与可以同时实现：只需裁剪梯度差异

    提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害，并且结合通信压缩来提高通信效率。在相当一般的假设下，证明了该方法的收敛速度与现有的理论结果相匹配。

    Nov, 2023

  • 具有方差减少和差分隐私的拜占庭鲁棒联邦学习

    提出了基于差分隐私机制的稀疏化和动量驱动的方差减少方法，以防御拜占庭攻击，并保证演算法的客户端隐私保障。通过与现有方法的比较实验证明了该框架提高了系统的强韧性，并取得了较强的隐私保证。

    Sep, 2023