通过模型聚合实现差分隐私和拜占庭容错的桥接
本文提出了一种解决联邦学习中隐私和拜占庭容错性的算法,通过使用差分隐私随机梯度下降算法保护隐私,并应用拜占庭容错算法,最终实现高精度和拜占庭攻击的抵抗。
Apr, 2023
本文研究了在标准参数服务器架构下,分布式 SGD 算法能否在部分节点受到 Byzantine 攻击,另一部分节点提供加噪的信息以保证 DP 的情况下,学习一个准确的模型。研究发现,在保证 DP 的情况下,现有的对于分布式 SGD 在 Byzantine 错误下的收敛性结果是无效的;通过重新调整学习算法,本文提供了关键性见解,基于 BR 的理论提供了近似收敛保证。
Oct, 2021
联合考虑分布式学习中的隐私保护和拜占庭健壮性,研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架,采用高斯噪声进行隐私保护,并采用鲁棒聚合规则来对抗拜占庭攻击,分析了其学习误差和隐私保证,发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系,并通过数值实验验证了理论发现。
Aug, 2023
SecureDL 是一种新颖的分布式机器学习协议,通过安全多方计算保护客户端模型更新的隐私,提高对拜占庭威胁的安全性和隐私保护。该协议使用余弦相似度的有效计算和更新的归一化来稳健地检测和排除对模型收敛有害的模型更新,并在多种拜占庭攻击中表现出很高的有效性,并保持较高的训练准确性。
Apr, 2024
提出了基于差分隐私机制的稀疏化和动量驱动的方差减少方法,以防御拜占庭攻击,并保证演算法的客户端隐私保障。通过与现有方法的比较实验证明了该框架提高了系统的强韧性,并取得了较强的隐私保证。
Sep, 2023
本文研究了分布式估计和学习问题。利用线性聚合方案和调整的随机化方案,通过交换信息,聚合数据并在保护个体隐私的前提下估计未知特征值。通过对一些例子的验证,证明该算法的高效性和性能保障。
Jun, 2023
采用微分隐私概念,提出一种在模型聚合之前加入人工噪音的差分隐私框架,证明该框架可以在不同保护级别下满足差分隐私。同时,优化了聚合轮数、系统总参与用户数和随机选取的用户数,实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计,并通过仿真实验证明了该理论的正确性。
Nov, 2019
本文提出了一种适用于异构数据集的分布式学习的鲁棒性随机次梯度方法 ——Byzantine-Robust Stochastic Aggregation (RSA) 方法,用来应对 Byzantine 工人的攻击。RSA 方法不依赖于数据是独立同分布的假设,具有更广泛的适用性。理论上,RSA 收敛到一个接近最优解的解决方案,学习错误取决于 Byzantine 工作人员数目,收敛速率与没有 Byzantine 工人的随机梯度下降方法相同。数值实验表明,RSA 具有竞争性的性能和与现有算法相比较的复杂度降低。
Nov, 2018
通过个性化差分隐私框架和考虑各种异构性和属性调整的方法,该论文提出了一种高效地保护隐私的个性化差分隐私框架,并对联邦学习算法的收敛边界进行了分析,同时进一步研究了考虑时间变化的个性化因素的收敛性质。
Jun, 2024
该论文提出了一个在混淆模型下更高效的隐私安全的聚合协议,可以使得通信量和误差只呈对数级增长,并且采用了一个称为 ' 隐身斗篷 ' 的新技术来实现此目的,该技术可以使得每个数据项与噪声几乎不可区分,同时对总和不会造成任何扭曲。
Jun, 2019