Jul, 2023

揭示解释性深度学习系统中的漏洞：使用高效查询的黑盒攻击

PDF
TL;DR我们提出了一种基于微生物遗传算法的黑盒攻击方法，用于攻击解释性深度学习系统（IDLSes），该方法不需要目标模型和解释模型的先验知识，且通过结合基于转移和基于分数的方法，攻击成功率高，难以被人类分析人员检测，突出了 IDLS 安全性的提升需求。
发现论文，激发创造
  • 基于微生物遗传算法的黑盒攻击可解释的深度学习系统

    本文提出了一种称为 QuScore 的查询效率高的面向 IDLS 攻击的黑盒攻击方法，该方法基于转移方法和基于得分的方法，采用有效的微生物遗传算法。该方法能够以更高的效率降低成功攻击所需的查询数量，并且在 ImageNet 和 CIFAR 数据集上，成功率可以达到 95% 至 100% 之间，并且具有自适应映射的结构。

    Jul, 2023

  • 火线下的可解释深度学习

    本文是对解释性深度学习系统安全性探索的首次系统研究，发现现有 IDLS 的脆弱性高，提出了一种新的类对抗攻击 ADV^2，并通过实证研究证明了其具有欺骗性和实名性的可行性。文章发现了预测 - 解释不一致性是导致该脆弱性的根源，并尝试针对此进行了一些对策。

    Dec, 2018

  • 评估与提升基于机器学习的网络入侵检测器的对抗鲁棒性

    本研究是首次系统地研究灰盒 / 黑盒交通空间对抗攻击来评估基于 ML 的 NIDS 的鲁棒性，攻击效果最高可达 97% 躲避率。研究提出可自动突变原始数据流、适用于多种 ML/DL 模型和非载荷特征的通用攻击，同时提出防御措施来提高系统鲁棒性。

    May, 2020

  • 增强深度学习入侵检测系统的对抗鲁棒性的简单框架

    提出了一种新颖的 IDS 结构，它通过结合传统机器学习模型和深度学习模型来增强 IDS 对抗敌对攻击的鲁棒性，该结构包含 DL-based IDS、adversarial example detector 和 ML-based IDS 三个组件，并使用 DL 模型高预测准确性和 DL 模型与 ML 模型之间的低攻击可转移性来改善整个系统的鲁棒性。实验证明，在遭受对抗攻击时，该 IDS 系统在预测性能方面显著提高，高准确率，资源消耗低。

    Dec, 2023

  • 从攻击到防御：对黑箱设置中的深度学习安全措施的洞察

    深度学习模型对抗攻击和防御的鲁棒性的综合实验研究表明，模型复杂度和鲁棒性之间存在显著关系，并且应用防御策略可以显著减少攻击效果。

    May, 2024

  • 主动学习实现的查询效率高的黑盒攻击

    本文探究了 DNN 的黑盒攻击方案，使用现有的白盒攻击方法产生的采样样本进行训练替代模型，并提出主动学习策略和多样性准则以优化其表现，实验证明该方法可以将查询数量减少超过 90% 并保持黑盒攻击成功率。

    Sep, 2018

  • 使用競爭學習技術的可解釋入侵檢測系統

    本论文旨在提出一种基于可解释性竞争学习的入侵检测系统框架，该框架使用诸如自组织映射、生长自组织映射和生长分层自组织映射等算法建模，并能通过数据挖掘生成统计和可视化的解释，较黑盒模型更具解释力和提高了预测速度。

    Mar, 2023

  • 可解释的入侵检测系统 (X-IDS)：当前方法、挑战和机会的调查

    应用人工智能和机器学习于网络安全已有广泛应用，特别是使用深度学习技术设计的 IDS. 然而，这些系统被视为黑盒模型，无法提供预测的合理解释。因此，需要设计可解释的 IDS，调查了可解释 AI 的现状，并提出了一种人们参与的通用架构，以用作设计 X-IDS 的指导

    Jul, 2022

  • 探索基于决策的黑盒攻击在语义分割上的应用

    通过对语义分割的案例研究，本文首次探索了对语义分割的黑盒决策攻击，并提出了一种名为离散线性攻击（DLA）的决策攻击方法，通过随机搜索和代理指数实现了高效攻击效果，评估了 5 个模型在 8 种攻击下的对抗鲁棒性。DLA 在 Cityscapes 任务上表现出强大的能力，仅通过 50 个查询将 PSPNet 的 mIoU 从 77.83% 大幅降至 2.14%。

    Feb, 2024

  • 可解释深度学习在神经影像学中的应用综述

    通过对神经影像学应用的可解释性深度学习方法的文献进行系统回顾和评估，本研究发现最受欢迎的可解释性深度学习方法在神经影像数据上可能不太理想，并探讨了该领域的可能未来方向。

    May, 2024