神经代码搜索的后门
研究人员提出了一种新的方法,通过破坏模型训练代码中的损失值计算来注入后门,用于展示比以前文献中更强大的后门类型,包括单像素和物理后门以及能将模型转换为隐蔽,侵犯隐私任务的后门,同时无需修改推理时输入。攻击是盲目的:攻击者无法修改训练数据,也无法观察他的代码执行,也无法访问生成的模型。攻击代码在模型训练过程中即时生成受污染的训练输入,并使用多目标优化技术来实现对主任务和后门任务的高准确性。研究人员还提出了如何规避任何已知防御措施的盲目攻击,并提出了新的防御措施。
May, 2020
本文提出通过嵌入本质隐形且难以检测的触发器进行的 NLP 背门攻击,该攻击能超过多项 NLP 任务,例如有害评论检测,机器翻译和问答系统,能在维持正常使用的正常用户的同时,在不经意间实施高成功率的攻击。
May, 2021
利用密码学技术,我们研究了机器学习模型中潜在的不可检测的后门问题,探索了外部专家公司设计模型中的潜在威胁,并引入了隐写功能来扩展神经网络后门攻击到语言模型中。
Jun, 2024
本文介绍了一种特定类型的数据投毒攻击,即后门注入攻击,讨论了攻击者注入后门到深度学习模型中的方法,并提出了两种在不削弱受害者模型有效性的情况下,难以察觉但能实现模型毒化的后门生成方法。我们进行了广泛的实验评估,并证明即使在最弱的攻击者模型下,这种攻击可以在小的注入率(约为 1%)条件下实现高达 90%以上的攻击成功率。
Aug, 2018
本文探讨了基于深度学习的技术在云端上进行外包培训时所带来的安全风险,提出了恶意训练网络的概念(即 BadNet),并阐述了在实际情景中 BadNet 的行为,讨论了神经网络中后门的研究难点和验证技术的发展。
Aug, 2017
通过对被污染神经元的特征进行排名,我们提出的方法可以显著降低攻击成功的几率超过 50%,即使只有极小的干净数据集,例如 CIFAR-10 数据集的十个样本,并且不会明显损害模型性能。此外,我们提出的方法比基准方法运行速度快三倍。
Nov, 2023
研究了深度神经网络中的后门攻击,发现了后门相关神经元和正常神经元之间的本质差异,并设计了一种新的训练方法,可以有效地防御注入后门,实验证明其效果显著。
Feb, 2022
研究表明:恶意后门注入是指将恶意行为隐藏在深度神经网络中,在输入数据不包含恶意触发器时行为正常,但含有特定触发器时会调用事先定义好的恶意行为,触发器可以采用不同形式,这可以通过替换或扰动一组图像像素来对原始图像应用滤镜进行操作。
Jul, 2020