应用矩阵分解于深度网络权重检测计算机视觉后门攻击

AAAIDec, 2022

应用矩阵分解于深度网络权重检测计算机视觉后门攻击

Backdoor Attack Detection in Computer Vision by Applying Matrix Factorization on the Weights of Deep Networks

Khondoker Murad Hossain, Tim Oates

TL;DR本研究提出了一种使用独立向量分析（IVA）和机器学习分类器从预训练 DNN 权重中提取特征的后门检测新方法，无需训练数据，适用于各领域，对各种网络架构均适用，且高度可扩展。通过在两个计算机视觉数据集上进行图像分类和目标检测，我们证明了该方法在效率上优于竞争算法，并且更加准确，有助于确保深度学习和人工智能的安全应用。

Abstract

The increasing importance of both deep neural networks (DNNs) and cloud services for training them means that bad actors have more incentive and opportunity to insert backdoors to alter the behavior of trained models. In this paper, we introduce a novel method for →

deep neural networks cloud services backdoor detection independent vector analysis machine learning

发现论文，激发创造

提升人工智能系统的安全性：一种检测深度神经网络后门的新方法

我们的研究利用先进的张量分解算法（独立向量分析、多集合规范相关分析和并行因子分析）分析训练好的深度神经网络的权重，有效地区分带后门和干净的模型，从而增强网络系统中深度学习和人工智能的安全性。

Mar, 2024

通过有针对性的权重扰动向卷积神经网络植入后门

本文对基于深度学习的人脸识别技术进行了研究，提出了一种通过定向权重扰动的方法进行 CNN 后门攻击的一般性方法，通过案例研究证明了攻击者能够显著提高他们提供的输入被 CNN 虚假接受的几率，并同时保留合法注册类别的误差率。

Dec, 2018

TEN-GUARD: 张量分解用于深度神经网络中的后门攻击检测

这篇论文介绍了一种新的后门检测方法，它使用了两种张量分解方法应用于网络激活，相对于现有的检测方法具有多种优势，包括能够同时分析多个模型，适用于各种网络架构，对于改变网络行为的触发器不做任何假设，并且计算效率高。在 MNIST 手写数字数据集、CIFAR-10 数据集以及 NIST 的 TrojAI 比赛中的两个难数据集上，我们提供了检测流程的详细描述和结果。这些结果表明，相对于当前最先进的方法，我们的方法更准确、更高效地检测到了植入后门的网络。

Jan, 2024

神经网络中的可扩展后门检测

该论文提出了一种基于触发器反向工程的方法来检测深度学习模型的后门攻击，该方法在实验中表现卓越，能完美地区分被套件攻击的模型和纯模型。

Jun, 2020

具有有限信息和数据的黑盒检测后门攻击

该论文提出一种基于黑盒模型的反向工程优化算法，用于检测深度神经网络中嵌入的恶意后门攻击，并通过检测结果进行有效的可靠预测，实验表明其可以有效地应对多种后门攻击。

Mar, 2021

目标检测的非定向后门攻击

本研究发现在使用第三方资源训练深度神经网络时容易出现后门威胁，尤其对目标检测等关键应用程序造成威胁。通过无目标特点的简单而有效的毒药后门攻击，我们成功地将后门嵌入目标模型，这可以使模型无法检测到任何与我们的触发模式带有标记的物体。我们在基准数据集上进行了广泛的实验，表明这种方法在数字和现实世界的应用都非常有效，并且对潜在防御手段具有抵御力。

Nov, 2022

深度神经网络中反向工程后训练的通用防御机制

本文介绍了一种新的检测器，利用被保护深度神经网络的内部特征映射来检测和逆向工程后门，并识别其目标类别；该检测器可以在训练结束后操作，对各种内部化机制都具有高效性，且计算开销较低，可实现可扩展性。

Feb, 2024

通过奇异值分解的隐形后门攻击

本文提出了一种名为 DEBA 的隐形后门攻击方法，通过奇异值分解（SVD）在训练阶段将隐形后门嵌入模型中，导致在特定触发条件下表现出预定义的恶意行为，实验证明 DEBA 方法在攻击效果、感知质量和抵抗防御措施方面表现出高度有效性和鲁棒性。

Mar, 2024

深度神经网络的噪声响应分析评估其稳健性和结构恶意软件指纹

本文提出了一种快速特征生成技术，可以对深度神经网络进行快速的安全检测，尤其是可以在几秒钟内检测出所谓的后门 (backdoors)，并且无需大量计算资源和训练数据。

Jul, 2020

BAN：检测对抗性神经元噪声激活的后门

改进了针对后门特征的逆向，将额外的神经元激活信息融入后门检测中，通过对带有后门效果的模型的损失权重进行对抗性增加来激活后门效果，从而轻松区分带有后门的模型和干净的模型。与现有的 BTI-DBF 防御相比，实验结果表明我们的 BAN 防御在 CIFAR-10 上效率提高了 1.37 倍，在 ImageNet200 上提高了 5.11 倍，并且具有 9.99% 更高的检测成功率。我们的代码和训练模型已经公开，可供使用。

May, 2024