针对预训练模型的多目标后门攻击
本研究提出了首个不依赖下游任务信息的 NLP 预训练模型后门攻击技术 Name,并设计了一种有效的绕过最新防御方案的策略,实验结果表明,该方法可以在有效和隐蔽的权衡下,攻击各种 NLP 任务。
Oct, 2021
本文提出了一种新的方法,将包含触发器的输入直接映射到预训练 NLP 模型的预定义输出表示,而不是目标标签,从而可以将后门引入广泛的下游任务中,而无需任何先前的知识,通过各种触发器类型的实验,论证了该方法对于不同的分类和命名实体识别等微调任务以及不同的模型(如 BERT、XLNet、BART)是普适的,并且不可避免地引入了严重威胁。
Oct, 2021
本研究发现在使用第三方资源训练深度神经网络时容易出现后门威胁,尤其对目标检测等关键应用程序造成威胁。通过无目标特点的简单而有效的毒药后门攻击,我们成功地将后门嵌入目标模型,这可以使模型无法检测到任何与我们的触发模式带有标记的物体。我们在基准数据集上进行了广泛的实验,表明这种方法在数字和现实世界的应用都非常有效,并且对潜在防御手段具有抵御力。
Nov, 2022
本文针对深度学习领域的后门攻击进行研究,通过添加训练任务以区分被污染数据和干净数据,以及使用原有的干净数据进行攻击,提高攻击效果,并在三种场景下进行了实验验证。
Oct, 2021
研究人员提出了一种新的方法,通过破坏模型训练代码中的损失值计算来注入后门,用于展示比以前文献中更强大的后门类型,包括单像素和物理后门以及能将模型转换为隐蔽,侵犯隐私任务的后门,同时无需修改推理时输入。攻击是盲目的:攻击者无法修改训练数据,也无法观察他的代码执行,也无法访问生成的模型。攻击代码在模型训练过程中即时生成受污染的训练输入,并使用多目标优化技术来实现对主任务和后门任务的高准确性。研究人员还提出了如何规避任何已知防御措施的盲目攻击,并提出了新的防御措施。
May, 2020
本文研究了神经代码搜索模型的安全性,在已有的在线代码库中,攻击者可以注入有漏洞的代码片段并使其在搜索结果中排名较高,进而影响到软件系统的正常运行并带来潜在的财务和安全风险。作者提出了一种名为 BADCODE 的攻击方式,并对其进行了测试和评估,结果表明该攻击的成功率比现有的攻击方式高出了 60%。
May, 2023
利用小型专用数据集微调大型预训练模型来生成特定应用模型是常见的做法。然而,我们揭示了一种新的漏洞:隐私后门攻击,通过该攻击,在微调受后门影响的模型时,训练数据的隐私泄露率会显著增加。我们在不同数据集和模型上进行了大量实验证明了这种攻击的广泛适用性和有效性,并通过不同微调方法和推断策略进行了多次消融研究以全面分析这个新威胁。我们的发现突出了机器学习社区的重要隐私问题,并呼吁重新评估使用开源预训练模型的安全协议。
Apr, 2024
本文提出一种更强的权重污染攻击方法,引入逐层权重污染策略以种植更深层次的后门;我们还引入一种组合式触发器,不能轻易检测。实验表明,以前的防御方法无法抵抗我们的权重污染方法,这表明我们的方法可以被广泛应用,并为未来的模型鲁棒性研究提供线索。
Aug, 2021