有噪声测量的拜占庭容错分布式状态估计的有限时间保证
本文提出分布式迭代方案,用于对与黑箱模型相关的梯度进行拜占庭容错评估,基于同时扰动、安全状态评估和双时间尺度随机逼近,同时通过数值实验展示了算法性能。
Sep, 2022
提出了一种基于总变差正则化的适应于拜占庭攻击的随机子梯度优化算法,在去除拜占庭代理的情况下达到了最优解附近,并且在数值模拟实验中表现出优越的性能.
May, 2020
本文研究了使用委比丘密特容错处理方式解决点对点分布式梯度下降算法中存在的非诚实代理引起的优化问题,提出了一种能够保证容错性的机制并可应用于更高维度的凸分布式优化问题。
Jan, 2021
本文提出了一种基于优化的分布参数估计和观察性社交学习方法,演示了如何使用分布式,在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计,并证明了代理最终可以使用随机瓦解方案学习真实参数。
Sep, 2013
本文提出了一种在恶意 / 拜占庭客户端存在的情况下使用本地迭代的随机梯度下降(SGD)算法来解决联邦学习的问题,通过使用高维鲁棒均值估计算法来过滤出异常向量并得出收敛结果和分析。
Jun, 2020
本文研究在对抗性场景下,如何以拜占庭容错的方式进行分布式统计机器学习,以解决联邦学习中受到威胁的问题。我们提出了一种基于梯度汇聚的方法,在容忍拜占庭故障的同时,实现了参数的准确估计,算法的时间复杂度为 $O ((Nd/m) logN)$,通信成本为 $O (md logN)$。此外,我们还将该方法应用于线性回归问题。
May, 2017
该研究探讨了分布式网络中拜占庭鲁棒随机优化问题,其中每个代理定期与其邻居通信以交换本地模型,然后通过随机梯度下降(SGD)更新其本地模型。通过引入两种方差减小方法(SAGA 和 LSVRG),该方法在消除了随机梯度噪声的负面影响后,实现了线性收敛速度和随机梯度噪声独立的学习误差,对基于总变异(TV)范数正则化和随机子梯度更新的方法具有最优的学习误差表现,并在广泛的拜占庭攻击实验中得到了验证。
Aug, 2023
本文针对分布式网络下存在 Byzantine 攻击的有限和优化学习问题,提出了一种基于几何中位数的抗攻击分布式学习方法 Byrd-SAGA,通过减小随机梯度的方差来实现对抗攻击的鲁棒性和线性快速收敛性。实验结果表明,相较于分布式 SGD 方法,该方法具备更强的抗攻击性和更快的收敛速度。
Dec, 2019
研究在联邦学习环境下的线性赌博机优化问题,提出一个具有鲁棒聚合神谕的新算法,证明该算法对少于一半的代理进行拜占庭攻击是鲁棒的,并通过基于树的机制使算法具有差分隐私。如果已知污染程度较小,则使用平均几何中位数神谕来进行鲁棒聚合进一步改善遗憾界。
Apr, 2022