该论文研究了分布式和联邦学习中拜占庭容错性的问题,提出了两种新的稳健算法来解决已有算法的缺陷,并提供了代码解决方案。
Dec, 2020
提出了一种具有客户端抽样和对拜占庭工作者的可证明容错性的分布式方法。通过梯度剪裁控制递归方差减少中的随机梯度差异来限制拜占庭工作者可能造成的潜在危害,并且结合通信压缩来提高通信效率。在相当一般的假设下,证明了该方法的收敛速度与现有的理论结果相匹配。
Nov, 2023
本文针对分布式学习中的安全问题,提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法,并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率,并且进一步提出了一种基于中位数的分布式算法,可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率,实现更好的通信效率。
Mar, 2018
提出了新的基于对偶平均的聚众算法,用于解决分散点之间的成对函数最小化问题,该算法的灵活性足以处理最优化问题的约束和规则的变体,并通过实证仿真验证了其实用性。
Jun, 2016
联合考虑分布式学习中的隐私保护和拜占庭健壮性,研究了一种隐私保护和拜占庭健壮的分布式随机梯度下降框架,采用高斯噪声进行隐私保护,并采用鲁棒聚合规则来对抗拜占庭攻击,分析了其学习误差和隐私保证,发现分布式学习中隐私保护和拜占庭健壮性之间存在基本的权衡关系,并通过数值实验验证了理论发现。
Aug, 2023
本文介绍了一种可扩展的拜占庭容错分布式机器学习框架(BRIDGE),其提供了一些算法收敛和统计收敛保证,适用于强凸问题和一类非凸问题,并在大规模分散学习实验中证明其可扩展性和实用性。
Aug, 2019
本论文研究了异构多智能体系统的合作控制问题,提出了一种基于数字孪生概念的分层协议,有效解决了 Byzantine 攻击问题并通过数值实验得到验证。
Mar, 2023
通过压缩和收敛速率,提出了两种新的拜占庭容错化方法,并证明了它们在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点;同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法,并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率,并通过数值实验证明了理论发现。
Oct, 2023
本文研究基于成对 “流言” 通信和更新的数字链接网络上的平均共识问题,并提出一组算法。我们研究了这些算法的收敛性质,旨在回答两个设计问题:代理应该通过确定性或随机量化器编码其通信,以及他们应该如何使用自己状态的精确信息来更新。
Jul, 2009
本文提出了一种基于稳健随机模型聚合的差分隐私机制,解决了联邦学习中的差分隐私和拜占庭容错性问题,并分析了隐私保护和学习性能之间的权衡关系。
Apr, 2022