Apr, 2022

罕见嵌入和梯度组件装的联邦学习后门攻击

HTML
PDF
TL;DR本文通过研究NLP模型中的稀有词嵌入，调查了后门攻击的模型毒化的可行性。在文本分类中，不到1%的对手客户端就足以操纵模型输出，而对于一个较简单的数据集，仅需0.1%的对手客户端就足以有效地污染全局模型。此外，我们还提出了一种针对联邦学习方案的技术——梯度集成，它提高了后门性能在我们的所有实验设置中表现出优越性。
发现论文，激发创造
  • 如何后门联邦学习

    本文论述了联邦学习的安全问题，指出任何参与者都可以在联邦学习中引入隐藏的后门功能，进而设计了基于替换模型和泛化约束的攻击方式。这种攻击方法可以在短时间内使全局模型对后门任务达到100％的准确率，并可通过对抗损失函数规避检测方法。

    Jul, 2018

  • 你真的可以后门联邦学习吗？

    本文研究联邦学习中的后门攻击及防御，探讨了如何在 EMNIST 数据集上实现防御策略，结论表明采用范数削弱和差分隐私能够有效减轻后门攻击带来的影响，同时开放代码以期鼓励更多研究者参与其中。

    Nov, 2019

  • 攻击尾部：是的，你真的可以破解联邦学习

    通过理论分析和实验，研究在分布式机器学习领域，如何有效检测和保护模型免受恶意注入的后门影响。

    Jul, 2020

  • 谨防中毒词嵌入: 探究NLP模型嵌入层的漏洞

    该论文揭示了自然语言处理（NLP）模型的安全威胁，即后门攻击。通过修改一个单词嵌入向量，攻击者可以在没有损失准确率的情况下破坏模型的行为，同时引发了一个特定的触发词。实验结果表明，该方法更高效、更隐秘，可提高NLP模型的安全意识。

    Mar, 2021

  • 联邦学习语言模型中的私有文本恢复

    本文介绍了一种新颖的攻击方法 FILM，用于联邦学习过程中语言模型的训练，成功恢复单句和多句的私有文本数据，并讨论了三种防御方法。

    May, 2022

  • 文本背门学习的统一评估：框架与基准

    本文研究了文本后门攻击对 NLP 系统的实际威胁，并提出了特定的评估协议以解决现有评估中忽略的真实环境差异问题。在此基础上，文章还开发了一个开源工具包 OpenBackdoor，以促进文本后门学习的实现和评估，在此基础上，文章详细探讨了攻击和防御模型的性能，并提出了聚类-based 的防御策略 CUBE，为未来模型开发提供了基础。

    Jun, 2022

  • 神经毒素：联邦学习中的持久后门

    本文提出一种新的方法Neurotoxin, 用于对联邦学习系统中的后门攻击进行对抗，它可以攻击在训练过程中变化较小的参数，使得攻击可以更加持久。对十个自然语言处理和计算机视觉任务进行了全面评估，发现该方法可以使最新的后门攻击持久性提高两倍。

    Jun, 2022

  • Dim-Krum：基于 Krum 的分维聚合的 NLP 后门抵抗联邦学习

    本文提出了一种针对NLP领域中后门攻击的新型联邦聚合算法Dim-Krum，并通过实验验证了它的有效性。

    Oct, 2022

  • 深谋远虑：预测他人行动在联邦学习中提升后门攻击

    在联邦学习中，我们提出了一种利用攻击者对未来其他客户端的行为，实现后门快速生效并且持续存在的攻击方法，该攻击方法适用于图像分类、下一个单词预测和情感分析等应用。

    Oct, 2022

  • 一种隐蔽且持久的持久后门攻击机制在联邦学习中的应用

    本研究针对联邦学习中的后门攻击问题，提出了一种新颖的后门攻击机制SDBA，特别针对自然语言处理任务。通过对LSTM和GPT-2模型的系统分析，识别了最脆弱的层并采用了层级梯度掩蔽和top-k%梯度掩蔽方法，实现了隐蔽性与持久性的结合。实验证明，SDBA在持久性和绕过代表性防御机制方面表现优越，强调了在基于NLP的联邦学习系统中需要加强防御策略的必要性。

    Sep, 2024