TEN-GUARD: 张量分解用于深度神经网络中的后门攻击检测

Jan, 2024

TEN-GUARD: 张量分解用于深度神经网络中的后门攻击检测

TEN-GUARD: Tensor Decomposition for Backdoor Attack Detection in Deep Neural Networks

Khondoker Murad Hossain, Tim Oates

TL;DR这篇论文介绍了一种新的后门检测方法，它使用了两种张量分解方法应用于网络激活，相对于现有的检测方法具有多种优势，包括能够同时分析多个模型，适用于各种网络架构，对于改变网络行为的触发器不做任何假设，并且计算效率高。在 MNIST 手写数字数据集、CIFAR-10 数据集以及 NIST 的 TrojAI 比赛中的两个难数据集上，我们提供了检测流程的详细描述和结果。这些结果表明，相对于当前最先进的方法，我们的方法更准确、更高效地检测到了植入后门的网络。

Abstract

As deep neural networks and the datasets used to train them get larger, the default approach to integrating them into research and commercial projects is to download a pre-trained model and fine tune it. But these models can have uncertain provenance, opening up the possibility that th

deep neural networks pre-trained models backdoor detection tensor decomposition methods network architectures

发现论文，激发创造

神经网络中的可扩展后门检测

该论文提出了一种基于触发器反向工程的方法来检测深度学习模型的后门攻击，该方法在实验中表现卓越，能完美地区分被套件攻击的模型和纯模型。

Jun, 2020

提升人工智能系统的安全性：一种检测深度神经网络后门的新方法

我们的研究利用先进的张量分解算法（独立向量分析、多集合规范相关分析和并行因子分析）分析训练好的深度神经网络的权重，有效地区分带后门和干净的模型，从而增强网络系统中深度学习和人工智能的安全性。

Mar, 2024

通过激活聚类检测深度神经网络的后门攻击

本文提出了一种新的神经网络后门检测和修复方法，经过广泛的实验结果证明了其对文本和图像分类的有效性。该方法是针对机器学习训练数据可能不可信，恶意攻击者可能通过植入精心制作的样本来攻击系统的现实情况，是首个不需要可验证和可信数据集即可检测和修复植入后门的数据的方法。

Nov, 2018

具有有限信息和数据的黑盒检测后门攻击

该论文提出一种基于黑盒模型的反向工程优化算法，用于检测深度神经网络中嵌入的恶意后门攻击，并通过检测结果进行有效的可靠预测，实验表明其可以有效地应对多种后门攻击。

Mar, 2021

神经网络模型简化的张量分解：一篇综述

该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。

Apr, 2023

通过奇异值分解的隐形后门攻击

本文提出了一种名为 DEBA 的隐形后门攻击方法，通过奇异值分解（SVD）在训练阶段将隐形后门嵌入模型中，导致在特定触发条件下表现出预定义的恶意行为，实验证明 DEBA 方法在攻击效果、感知质量和抵抗防御措施方面表现出高度有效性和鲁棒性。

Mar, 2024

通过扰动的迁移性检测神经网络后门

研究表明深度神经网络中容易发生 backdoor 污染攻击，本文研究发现有一种有趣的特性，就是在有污染的模型中敌对扰动更容易传输从而用这个特性提出一种能在 TrojAI 基准测试中检测污染模型的方法。

Mar, 2021

应用矩阵分解于深度网络权重检测计算机视觉后门攻击

本研究提出了一种使用独立向量分析（IVA）和机器学习分类器从预训练 DNN 权重中提取特征的后门检测新方法，无需训练数据，适用于各领域，对各种网络架构均适用，且高度可扩展。通过在两个计算机视觉数据集上进行图像分类和目标检测，我们证明了该方法在效率上优于竞争算法，并且更加准确，有助于确保深度学习和人工智能的安全应用。

Dec, 2022

Cassandra: 从对抗扰动中检测木马网络

本文提出了一种检测预训练模型是否被恶意篡改的方法，该方法通过学习神经网络的参数来捕获其对抗扰动，以检测是否存在后门；同时，本文还提出了一种异常检测方法来确定被感染的网络的目标类别。实验结果表明该方法检测恶意后门的准确率高达 92% 以上。

Jul, 2020

通过校正神经激活分布进行后门缓解

这篇论文揭示和分析了后门攻击的一个重要特性：成功攻击会导致后门触发实例的内部层激活分布发生改变，与干净实例的分布不同。基于这一观察，作者提出了一种高效和有效的方法，通过使用逆向工程的触发器来纠正分布变化，从而实现后期训练的后门缓解。该方法不会改变 DNN 的任何可训练参数，但与需要大量 DNN 参数调整的现有方法相比，其缓解性能普遍更好。它还能有效检测带有触发器的测试实例，可以帮助及时发现恶意攻击者对后门进行利用。

Aug, 2023