基于扰动敏感性的自然语言处理神经木马检测框架 PerD

Aug, 2022

基于扰动敏感性的自然语言处理神经木马检测框架 PerD

PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications

Diego Garcia-soto, Huili Chen, Farinaz Koushanfar

TL;DR该论文提出了一种基于模型输出偏差分析的模型级神经木马检测框架来检测 NLP 领域的神经木马，并提出了一种轻量级变体以提高检测速度。

Abstract

deep neural networks (DNNs) have been shown to be susceptible to Trojan attacks. Neural Trojan is a type of targeted poisoning attack that embeds the backdoor into the victim and is activated by the trigger in the input space. The increasing deployment of DNNs in critical systems and t

deep neural networks neural trojan detection nlp domain model-level trojan detection framework lightweight variant

发现论文，激发创造

Cassandra: 从对抗扰动中检测木马网络

本文提出了一种检测预训练模型是否被恶意篡改的方法，该方法通过学习神经网络的参数来捕获其对抗扰动，以检测是否存在后门；同时，本文还提出了一种异常检测方法来确定被感染的网络的目标类别。实验结果表明该方法检测恶意后门的准确率高达 92% 以上。

Jul, 2020

通过扰动的迁移性检测神经网络后门

研究表明深度神经网络中容易发生 backdoor 污染攻击，本文研究发现有一种有趣的特性，就是在有污染的模型中敌对扰动更容易传输从而用这个特性提出一种能在 TrojAI 基准测试中检测污染模型的方法。

Mar, 2021

实用的发现木马神经网络方法：数据受限和无数据情况

本文探讨了当训练数据遭到恶意篡改时，如何在只能访问已训练深度神经网络的权重的情况下，检测到网络的特洛伊后门攻击（也称为毒化后门攻击），并提出了数据受限和数据无关的特洛伊检测器，该方法通过对定向攻击和预测规避攻击的连接来实现特洛伊检测。实验结果使用 CIFAR-10、GTSRB 和 ImageNet 数据集进行了验证。

Jul, 2020

深度神经网络中特洛伊攻击的表面简单方法

本文提出了一种新的训练免费的攻击方法，使用一个小的特洛伊模块（TrojanNet）将恶意特征插入目标模型，该模型通过特殊标记对输入进行标记，并将所有标签注入特洛伊，攻击成功率达到 100％，且不会影响模型在原始任务上的准确性。

Jun, 2020

神经网络中的可扩展后门检测

该论文提出了一种基于触发器反向工程的方法来检测深度学习模型的后门攻击，该方法在实验中表现卓越，能完美地区分被套件攻击的模型和纯模型。

Jun, 2020

针对 NLP 模型后门攻击的鲁棒性感知扰动防御 (RAP)

本文提出了一种基于鲁棒性感知扰动的在线防御机制，可以有效对抗自然语言处理模型的后门攻击，并在情感分析和毒性检测任务中取得更好的防御效果和更低的计算成本。

Oct, 2021

基于拓扑先验的特洛伊木马检测触发器探测

探讨如何检测 DNN 在受到 Backdoor 攻击后的 Trojan，提出新颖的优先条件，如多样性和拓扑简单性，来增加发现合适触发器的可能性和改善触发器的质量，从而有效地提高了 Trojan 进行检测的准确性。

Oct, 2021

一种自适应的黑盒防御反对特洛伊攻击（TrojDef）

本文提出了一种基于预测置信度边界的黑盒防御方法 TrojDef，旨在识别和过滤特洛伊输入，并通过数学分析表明其在防御特洛伊攻击方面优于现有防御方法。

Sep, 2022

深度学习中神经木马攻击和防御的调查

该研究论文对深度学习中的特洛伊木马攻击及其防御进行综述，系统总结近期的方法，同时讨论其关键概念，为了让更广泛的社区了解神经特洛伊木马的最新发展。

Feb, 2022

利用元神经分析检测 AI 木马

本文提出了 Meta Neural Trojan Detection (MNTD) 管道来解决机器学习特洛伊木马攻击检测的挑战，通过训练一个能够预测目标模型是否被特洛伊木马攻击的元分类器来检测黑盒模型，同时引入 jumbo learning 以对特洛伊木马攻击进行分类和预测。在试验和对比中表明，MNTD 达到了 97% 的检测 AUC 分数，并优于现有的检测方法。

Oct, 2019