EMNLPApr, 2022

罕见嵌入和梯度组件装的联邦学习后门攻击

PDF
TL;DR本文通过研究 NLP 模型中的稀有词嵌入，调查了后门攻击的模型毒化的可行性。在文本分类中，不到 1% 的对手客户端就足以操纵模型输出，而对于一个较简单的数据集，仅需 0.1% 的对手客户端就足以有效地污染全局模型。此外，我们还提出了一种针对联邦学习方案的技术 —— 梯度集成，它提高了后门性能在我们的所有实验设置中表现出优越性。
federated learningadversarial attacksnlp modelsmodel poisoninggradient ensemble
发现论文，激发创造
  • 如何后门联邦学习

    本文论述了联邦学习的安全问题，指出任何参与者都可以在联邦学习中引入隐藏的后门功能，进而设计了基于替换模型和泛化约束的攻击方式。这种攻击方法可以在短时间内使全局模型对后门任务达到 100％的准确率，并可通过对抗损失函数规避检测方法。

    Jul, 2018

  • 你真的可以后门联邦学习吗？

    本文研究联邦学习中的后门攻击及防御，探讨了如何在 EMNIST 数据集上实现防御策略，结论表明采用范数削弱和差分隐私能够有效减轻后门攻击带来的影响，同时开放代码以期鼓励更多研究者参与其中。

    Nov, 2019

  • 联邦学习中的反向攻击缓解

    本文提出了一种针对联邦学习中后门攻击的新方法：设计一种联邦修剪方法以消除网络中的冗余神经元并调整模型的极端权重值，在 Fashion-MNIST 和 CIFAR-10 等广泛使用的数据集上进行实验证明，该方法可以将平均攻击成功率从 99.7％降低到 1.9％，并只损失 5.5％的测试准确率。

    Oct, 2020

  • 关于联邦学习后门防御漏洞的研究

    本文重点研究联邦学习（FL）中后门攻击的防御方法，提出一种新的联邦后门攻击框架，通过直接修改局部模型权重注入后门触发器，并与客户端模型联合优化，从而更加单独和隐蔽地绕过现有防御。实证研究表明最近的三大类联邦后门防御机制存在一些缺陷，我们对此提出了建议。

    Jan, 2023

  • 卷积神经网络模型中的后门嵌入：通过不可见扰动

    本文介绍了一种特定类型的数据投毒攻击，即后门注入攻击，讨论了攻击者注入后门到深度学习模型中的方法，并提出了两种在不削弱受害者模型有效性的情况下，难以察觉但能实现模型毒化的后门生成方法。我们进行了广泛的实验评估，并证明即使在最弱的攻击者模型下，这种攻击可以在小的注入率（约为 1％）条件下实现高达 90％以上的攻击成功率。

    Aug, 2018

  • 谨防中毒词嵌入：探究 NLP 模型嵌入层的漏洞

    该论文揭示了自然语言处理（NLP）模型的安全威胁，即后门攻击。通过修改一个单词嵌入向量，攻击者可以在没有损失准确率的情况下破坏模型的行为，同时引发了一个特定的触发词。实验结果表明，该方法更高效、更隐秘，可提高 NLP 模型的安全意识。

    Mar, 2021

  • 攻击尾部：是的，你真的可以破解联邦学习

    通过理论分析和实验，研究在分布式机器学习领域，如何有效检测和保护模型免受恶意注入的后门影响。

    Jul, 2020

  • 深谋远虑：预测他人行动在联邦学习中提升后门攻击

    在联邦学习中，我们提出了一种利用攻击者对未来其他客户端的行为，实现后门快速生效并且持续存在的攻击方法，该攻击方法适用于图像分类、下一个单词预测和情感分析等应用。

    Oct, 2022

  • 关于分割学习服务端后门攻击的可行性

    本文通过在服务器端注入后门触发器，对分割学习中的后门攻击进行了新型研究，研究结果表明，尽管使用了强的模式和注入方法，但分割学习对于这种污染攻击是高度强大和抗性强的。

    Feb, 2023

  • 神经毒素：联邦学习中的持久后门

    本文提出一种新的方法 Neurotoxin, 用于对联邦学习系统中的后门攻击进行对抗，它可以攻击在训练过程中变化较小的参数，使得攻击可以更加持久。对十个自然语言处理和计算机视觉任务进行了全面评估，发现该方法可以使最新的后门攻击持久性提高两倍。

    Jun, 2022