Aug, 2023

拜占庭攻击鲁棒的联邦学习：实现零最优间隙

PDF
TL;DR本文提出了一种强大的聚合方法，用于联邦学习，可以有效地应对恶意拜占庭攻击，每个用户可以通过多个步骤来更新模型参数，然后将其直接推送到聚合中心，聚合中心利用几何中位数将用户的模型参数进行组合，并通过严格的证明表明，只要恶意攻击者的比例低于一半，我们提出的方法可以达到零最优间隔，并呈线性收敛性。数值结果验证了我们提出方法的有效性。
federated learningaggregation methodmalicious byzantine attacksgeometric medianoptimality gap
发现论文，激发创造
  • FedTruth: 拜占庭容错和后门抵制的联邦学习框架

    FedTruth 是一种针对 FL 中的模型污染问题的鲁棒防御方法，通过动态聚合权重估计全局模型更新，考虑了所有良性客户的贡献，并在实证研究中证明了其对拜占庭攻击和后门攻击的毒化更新的影响有很好的缓解效果。

    Nov, 2023

  • 通过自适应模型平均实现拜占庭鲁棒的联邦机器学习

    本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

    Sep, 2019

  • 拜占庭鲁棒联邦线性赌博机

    研究在联邦学习环境下的线性赌博机优化问题，提出一个具有鲁棒聚合神谕的新算法，证明该算法对少于一半的代理进行拜占庭攻击是鲁棒的，并通过基于树的机制使算法具有差分隐私。如果已知污染程度较小，则使用平均几何中位数神谕来进行鲁棒聚合进一步改善遗憾界。

    Apr, 2022

  • FLTrust: 通过信任引导实现拜占庭容错联邦学习

    FLTrust 是一种新的联邦学习方法，它通过服务提供商收集干净的培训数据集来引导信任，对客户端的本地模型更新进行信任评分，并进行标准化处理，从而降低了来自恶意客户端的影响，最终计算加权平均并用于更新全局模型。

    Dec, 2020

  • 拜占庭鲁棒聚类联邦学习

    本文讨论了联邦学习中拜占庭机器的对抗攻击问题，提出了一种具有鲁棒性的迭代联邦聚类算法来识别非拜占庭机器的集群成员身份并优化每个集群学习的模型。

    Jun, 2023

  • 具有适应性数据异构性的拜占庭弹性联邦学习

    该研究论文研究了在存在恶意拜占庭攻击和数据异质性的情况下的联邦学习。提出了一种新颖的鲁棒平均梯度算法 (RAGA)，其利用几何中位数进行聚合，并可以自由选择局部更新的轮次。通过对不仅是强凸而且非凸损失函数进行收敛性分析，以及考虑到恶意用户的数据集比例小于一半的情况下，本文论证了 RAGA 可以实现收敛。此外，证明了随着数据异质性消失，可以得到稳定点或全局最优解。实验结果验证了 RAGA 在不同强度的拜占庭攻击和异质数据集下的收敛性能优于基准方法。

    Mar, 2024

  • 联邦学习中缓解拜占庭攻击的挑战和方法

    该研究论文对联邦学习中的拜占庭攻击进行了全面调查和分析，对现有防御方案进行了对比和讨论，并提出了一种新的拜占庭攻击方法称为权重攻击，由此揭示目前防御方案对联邦学习中的拜占庭攻击的局限性，并探讨了未来的研究方向和挑战。

    Dec, 2021

  • 拜占庭稳健的分散式联邦学习

    我们提出了一种名为 BALANCE 的新算法，通过本地相似性在去中心化中进行拜占庭 - 鲁棒的均值计算，以抵御毒化攻击，并在强凸和非凸设置中建立了 BALANCE 在毒化攻击下的理论收敛保证，大量实验证明 BALANCE 优于现有的分布式联邦学习方法并有效地抵御毒化攻击。

    Jun, 2024

  • 异构环境下的健壮联邦学习

    在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

    Jun, 2019

  • 联邦学习的鲁棒聚合

    本文提出了一种使用鲁棒集成中位数的方法来实现联邦学习的鲁棒性，该方法使用常数次迭代实现了随机平均值，不仅能保护隐私，而且在计算机视觉和自然语言处理的三个任务中也有较好的性能。

    Dec, 2019