ICLRMar, 2022

如何提高黑盒机器学习模型的鲁棒性？零阶优化视角

PDF
TL;DR本文提出了一种针对黑盒模型的防御式操作，通过基于降噪平滑和零阶优化的方法，将自编码器与模型结合，并在此基础上设计了 ZO-AE-DS，该方法在图像分类和重建任务上表现出更好的准确性、可靠性和查询复杂度。
adversarial robustnessmachine learningblack-box defensedenoised smoothingzeroth-order optimization
发现论文，激发创造
  • ZOO: 无需训练替代模型的基于零阶优化的黑盒攻击深度神经网络

    本文提出了零阶优化的黑盒攻击方法，该方法不需要训练替代模型而直接估计目标 DNN 的梯度来生成对抗性例子，实验结果表明该攻击方法在 MNIST、CIFAR10 和 ImageNet 的数据集上与白盒攻击方法效果相当且明显优于现有的替代模型的黑盒攻击方法。

    Aug, 2017

  • 通过鲁棒的 UNet 降噪器进行证明的零阶黑盒防御

    本篇文章提出了一种证明 ZO 预处理技术，使用仅基于模型查询的黑盒模型，通过提前将 RDUNet 附加到黑盒模型中来确保黑盒模型对高维数据集进行训练时的鲁棒性，进而提出了 DS 和 AE-RUDS 两种新的黑盒防御机制，并在四个分类数据集上进行了广泛实验，结果表明我们的提出的方法 ZO-RUDS 和 ZO-AE-RUDS 大幅度击败了 SOTA。

    Apr, 2023

  • 通过零阶自然梯度下降实现查询有效的黑盒对手

    本文提出了零阶自然梯度下降（ZO-NGD）方法，以设计对抗性攻击，通过采用零阶梯度估计技术和二阶自然梯度下降方法，在黑盒攻击场景中提高查询效率，并在图像分类数据集上进行实证评估，证明 ZO-NGD 相对于现有攻击方法可以获得显著的模型查询复杂度降低。

    Feb, 2020

  • AutoZOOM：基于自编码器的零阶优化攻击黑盒神经网络方法

    该研究提出 AutoZOOM 框架，通过自动编码器和自适应梯度估计策略，在保持攻击成功率和视觉质量的同时，显著减少了黑盒攻击中模型查询的数量，从而在对抗性稳健性方面提供了新的见解。

    May, 2018

  • 利用无梯度优化和算子分裂方法设计黑盒对抗样本

    采用交替方向乘数法 (ADMM) 作为基础框架，结合零阶优化 (ZO) 和贝叶斯优化 (BO) 等技术，提出了两种新的黑匣子对抗攻击方法 ZO-ADMM 和 BO-ADMM，用于各种扭曲度量和反馈设置，相较于现有攻击方法，该方法能够以较低的查询复杂度取得更高的攻击成功率。在图像分类数据集上进行的实证研究证明了该方法的有效性。

    Jul, 2019

  • 从攻击到防御：对黑箱设置中的深度学习安全措施的洞察

    深度学习模型对抗攻击和防御的鲁棒性的综合实验研究表明，模型复杂度和鲁棒性之间存在显著关系，并且应用防御策略可以显著减少攻击效果。

    May, 2024

  • DeepZero：扩展零阶优化以提升深度模型训练

    DeepZero 是一个基于 Zeroth-order optimization 的深度学习框架，通过三个主要创新使得 ZO 优化可用于深度神经网络的训练，同时实现了与一阶优化相当的性能，其优点包括坐标梯度估计（CGE）在训练准确性和计算效率上的优势，以及利用模型剪枝方法扩展稀疏 DL 先验信息的 ZO 训练协议，并通过特征重用和前向并行化方法提高 ZO 训练的实际实施。

    Oct, 2023

  • 基于 Hessian 感知的零阶优化黑盒对抗攻击

    本文提出了一个基于 Hessian 矩阵的零阶优化算法 ZO-HessAware，用于黑盒对抗攻击，该算法的实验证明在结构化 Hessian 逼近的情况下，具有更好的零阶收敛率和查询复杂度。

    Dec, 2018

  • 评分黑盒模型的对抗鲁棒性

    研究了深度神经网络对抗攻击的鲁棒性，提出了一种适用于黑盒模型的简单评分方法，并发现更鲁棒的模型具有更小的 LIME 权重 l1 范数和更锐利的解释。

    Oct, 2022

  • 零样本学习中对抗鲁棒性的深入探究

    本研究针对零样本学习和广义零样本学习模型，利用标签嵌入模型，评估了其对一系列已建立的对抗攻击和防御的鲁棒性，并创造了可能是首个对零样本学习模型对抗鲁棒性的基准测试及其重要解释的分析，希望这些结果能够帮助研究人员更好地理解零样本学习模型所面临的挑战并指导其相关研究工作。

    Aug, 2020