本文针对分布式学习中的安全问题,提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法,并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率,并且进一步提出了一种基于中位数的分布式算法,可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率,实现更好的通信效率。
Mar, 2018
本文介绍了一种名为自适应联邦平均的新型算法,该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量,并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者,从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。
Sep, 2019
本文提出了首个单服务器拜占庭容错安全的聚合框架(BREA)用于安全联邦学习,包括完整的隐私保护和网络收敛保证,基于综合随机量化、可验证的异常检测和安全的模型聚合方法,并对网络规模、用户退化和隐私保护方面进行了理论和实验分析。
Jul, 2020
该论文研究了分布式和联邦学习中拜占庭容错性的问题,提出了两种新的稳健算法来解决已有算法的缺陷,并提供了代码解决方案。
Dec, 2020
本文提出了一种基于稳健随机模型聚合的差分隐私机制,解决了联邦学习中的差分隐私和拜占庭容错性问题,并分析了隐私保护和学习性能之间的权衡关系。
Apr, 2022
本文提出了一种解决联邦学习中隐私和拜占庭容错性的算法,通过使用差分隐私随机梯度下降算法保护隐私,并应用拜占庭容错算法,最终实现高精度和拜占庭攻击的抵抗。
Apr, 2023
本文提出了一种强大的聚合方法,用于联邦学习,可以有效地应对恶意拜占庭攻击,每个用户可以通过多个步骤来更新模型参数,然后将其直接推送到聚合中心,聚合中心利用几何中位数将用户的模型参数进行组合,并通过严格的证明表明,只要恶意攻击者的比例低于一半,我们提出的方法可以达到零最优间隔,并呈线性收敛性。数值结果验证了我们提出方法的有效性。
Aug, 2023
联合考虑分布式学习中的隐私保护和拜占庭健壮性,研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架,采用高斯噪声进行隐私保护,并采用鲁棒聚合规则来对抗拜占庭攻击,分析了其学习误差和隐私保证,发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系,并通过数值实验验证了理论发现。
提出了基于差分隐私机制的稀疏化和动量驱动的方差减少方法,以防御拜占庭攻击,并保证演算法的客户端隐私保障。通过与现有方法的比较实验证明了该框架提高了系统的强韧性,并取得了较强的隐私保证。
Sep, 2023
通过压缩和收敛速率,提出了两种新的拜占庭容错化方法,并证明了它们在非凸和Polyak-Lojasiewicz平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点;同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和Polyak-Lojasiewicz平滑情况下的收敛速率,并通过数值实验证明了理论发现。
Oct, 2023