本文研究了在标准参数服务器架构下,分布式 SGD 算法能否在部分节点受到 Byzantine 攻击,另一部分节点提供加噪的信息以保证 DP 的情况下,学习一个准确的模型。研究发现,在保证 DP 的情况下,现有的对于分布式 SGD 在 Byzantine 错误下的收敛性结果是无效的;通过重新调整学习算法,本文提供了关键性见解,基于 BR 的理论提供了近似收敛保证。
Oct, 2021
提出了基于差分隐私机制的稀疏化和动量驱动的方差减少方法,以防御拜占庭攻击,并保证演算法的客户端隐私保障。通过与现有方法的比较实验证明了该框架提高了系统的强韧性,并取得了较强的隐私保证。
Sep, 2023
本文提出了一种基于稳健随机模型聚合的差分隐私机制,解决了联邦学习中的差分隐私和拜占庭容错性问题,并分析了隐私保护和学习性能之间的权衡关系。
Apr, 2022
联合考虑分布式学习中的隐私保护和拜占庭健壮性,研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架,采用高斯噪声进行隐私保护,并采用鲁棒聚合规则来对抗拜占庭攻击,分析了其学习误差和隐私保证,发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系,并通过数值实验验证了理论发现。
Aug, 2023
通过消除既有集中式联邦学习范式中汇总本地模型的服务器,将被称为 P2P FL 的方法应运而生,然而,P2P FL 容易受到善意但好奇的参与者和可以发出任意篡改的拜占庭参与者的攻击,本文提出了一种名为 Brave 的协议,以确保 P2P FL 在这两种类型的对手存在下同时保证了拜占庭容错和隐私保留的性质,并通过对 CIFAR10 和 MNIST 数据集上的图像分类任务进行评估,结果表明 Brave 可在对手存在的情况下实现与无对手存在时相当的分类准确性。
Jan, 2024
研究在拜占庭设置中,使用知识蒸馏的联邦学习算法的性能以及如何提高其对拜占庭攻击的鲁棒性。
Feb, 2024
ByITFL 是第一个具备全信息论隐私的拜占庭容错方案,通过拉格朗日码计算、可验证的秘密共享和重新随机化步骤,实现了分布式的、保护隐私的计算。
May, 2024
本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降(SGD)算法来解决联邦学习的问题,通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
本文研究边缘联邦学习中的随机凸和非凸优化问题,以解决处理重尾数据时现有算法的不足,并同时保持拜占庭鲁棒性,通信效率和最佳统计误差率。我们提出了两种算法,分别是具有拜占庭鲁棒性的分布式梯度下降算法,以及结合梯度压缩技术的通信开销较小的算法。理论分析表明,我们的算法在存在拜占庭设备的情况下实现了最优的统计误差率。最后,我们在合成和现实世界数据集上进行了广泛的实验,以验证算法的有效性。
Mar, 2023
本文提出了首个单服务器拜占庭容错安全的聚合框架(BREA)用于安全联邦学习,包括完整的隐私保护和网络收敛保证,基于综合随机量化、可验证的异常检测和安全的模型聚合方法,并对网络规模、用户退化和隐私保护方面进行了理论和实验分析。
Jul, 2020