Nov, 2023

AGNES: 深度神经网络安全的抽象引导框架

PDF
TL;DR本文介绍了 AGNES，一种用于检测图像识别中深度神经网络（DNNs）中后门的工具，并展示了我们的工具在多个相关案例研究中比许多最先进的方法表现更好。
deep neural networksimage recognitionbackdoorsagnesdnns
发现论文，激发创造
  • 提升人工智能系统的安全性：一种检测深度神经网络后门的新方法

    我们的研究利用先进的张量分解算法（独立向量分析、多集合规范相关分析和并行因子分析）分析训练好的深度神经网络的权重，有效地区分带后门和干净的模型，从而增强网络系统中深度学习和人工智能的安全性。

    Mar, 2024

  • 深度学习后门

    研究表明：恶意后门注入是指将恶意行为隐藏在深度神经网络中，在输入数据不包含恶意触发器时行为正常，但含有特定触发器时会调用事先定义好的恶意行为，触发器可以采用不同形式，这可以通过替换或扰动一组图像像素来对原始图像应用滤镜进行操作。

    Jul, 2020

  • 基于视觉的自主系统的闭环分析：以案例为例

    本文应用正式的概率分析技术对一种通过感知深度神经网络（DNN）引导飞机滑行的实验自主系统进行了案例研究，通过使用代表性图像数据集计算 DNN 的混淆矩阵来替换摄像机和网络，构建紧凑的概率抽象，以解决感知 DNN、传感器和环境条件的复杂性所带来的挑战，并展示了如何利用本地、DNN 特定的分析作为运行时保护，以提高整个系统的安全性。

    Feb, 2023

  • 目标检测的非定向后门攻击

    本研究发现在使用第三方资源训练深度神经网络时容易出现后门威胁，尤其对目标检测等关键应用程序造成威胁。通过无目标特点的简单而有效的毒药后门攻击，我们成功地将后门嵌入目标模型，这可以使模型无法检测到任何与我们的触发模式带有标记的物体。我们在基准数据集上进行了广泛的实验，表明这种方法在数字和现实世界的应用都非常有效，并且对潜在防御手段具有抵御力。

    Nov, 2022

  • 机器学习中不依赖特定模型的防御后门攻击方法

    该论文提出了一个名为 NEO 的模型无关框架，用于检测和缓解图像分类机器学习模型中的后门攻击，并评估了其在三种被污染的模型中的表现。

    Aug, 2019

  • 防御深度神经网络后门攻击

    本文研究深度神经网络面临的后门攻击问题，提出了基于 L∞规范的神经元修剪方法来消除后门，实验证明该方法成功率显著降低，并对清晰图像保持高分类准确度。

    Feb, 2020

  • 深度神经网络的噪声响应分析评估其稳健性和结构恶意软件指纹

    本文提出了一种快速特征生成技术，可以对深度神经网络进行快速的安全检测，尤其是可以在几秒钟内检测出所谓的后门 (backdoors)，并且无需大量计算资源和训练数据。

    Jul, 2020

  • 深度神经网络中反向工程后训练的通用防御机制

    本文介绍了一种新的检测器，利用被保护深度神经网络的内部特征映射来检测和逆向工程后门，并识别其目标类别；该检测器可以在训练结束后操作，对各种内部化机制都具有高效性，且计算开销较低，可实现可扩展性。

    Feb, 2024

  • 在数据有限的配置中减轻深度神经网络中的后门问题

    通过对被污染神经元的特征进行排名，我们提出的方法可以显著降低攻击成功的几率超过 50%，即使只有极小的干净数据集，例如 CIFAR-10 数据集的十个样本，并且不会明显损害模型性能。此外，我们提出的方法比基准方法运行速度快三倍。

    Nov, 2023

  • 使用干净注释对目标检测的后门攻击

    通过对深度学习物体检测算法进行攻击，我们提出了一种简单而有效的后门攻击方法，特别针对物体消失攻击和物体生成攻击，实验证明我们的攻击方法在两个基准物体检测数据集上的攻击成功率超过 92％，而污染率仅为 5％。

    Jul, 2023