Oct, 2022

评分黑盒模型的对抗鲁棒性

PDF
TL;DR研究了深度神经网络对抗攻击的鲁棒性，提出了一种适用于黑盒模型的简单评分方法，并发现更鲁棒的模型具有更小的 LIME 权重 l1 范数和更锐利的解释。
发现论文，激发创造
  • 计算机视觉模型的黑盒对抗攻击综述

    该论文介绍了对各种黑盒对抗攻击和防御技术的全面比较研究，旨在提高模型的鲁棒性。

    Dec, 2019

  • 灰盒对抗训练

    本文介绍了对抗性训练及其在构建鲁棒模型方面的应用，提出了新型白盒和黑盒攻击，即灰盒对抗攻击，提出了一种新颖的模型鲁棒性评估方法，并提出了一种新型的对抗性训练：灰盒对抗训练，其使用模型的中间版本来引导敌手生成更加有效的对抗样本，实验证明此方面的成果优于传统方法。

    Aug, 2018

  • 从攻击到防御：对黑箱设置中的深度学习安全措施的洞察

    深度学习模型对抗攻击和防御的鲁棒性的综合实验研究表明，模型复杂度和鲁棒性之间存在显著关系，并且应用防御策略可以显著减少攻击效果。

    May, 2024

  • 黑盒对抗迁移性：一个基于网络安全的经验研究

    在网络安全领域中，人工智能的快速发展引起了重大安全关注，深度学习模型在对抗性攻击中的脆弱性是主要问题之一，该研究的关键贡献是在网络攻击检测系统中经验性地测试黑盒对抗转移现象，并验证了任何深度学习模型都极易受到对抗攻击的影响，即使攻击者无法访问目标模型的内部细节，白盒对抗攻击相比黑盒对抗攻击具有更严重的影响。因此，有必要研究和探索对抗性防御技术以增强深度学习模型对对抗攻击的鲁棒性。

    Apr, 2024

  • 逆向工程黑盒神经网络

    研究表明，通过一系列查询可以暴露神经网络的架构、优化程序或训练数据等属性，因此黑匣子神经网络更容易受到各种攻击，但该技术也可以用于更好地保护个人隐私。

    Nov, 2017

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 从白到黑：高效黑盒对抗攻击蒸馏

    本研究通过训练一个能够模拟白盒攻击行为的更高效神经网络，证明了白盒攻击优化过程所隐含的知识可以被提取并泛化，可在黑盒情况下攻击 Google Perspective API 并暴露其脆弱性，扰乱 API 的预测结果，而人类对黄金标签的预测准确率仍然很高。

    Apr, 2019

  • 主动学习实现的查询效率高的黑盒攻击

    本文探究了 DNN 的黑盒攻击方案，使用现有的白盒攻击方法产生的采样样本进行训练替代模型，并提出主动学习策略和多样性准则以优化其表现，实验证明该方法可以将查询数量减少超过 90% 并保持黑盒攻击成功率。

    Sep, 2018

  • 低查询预算环境中，简单高效且硬标签黑盒对抗攻击

    提出了一种使用贝叶斯优化来进行黑盒攻击的方法，通过在结构性低维子空间中搜索对抗样本来避免 BO 在高维度下的性能问题，实验结果显示该方法相较现有黑盒攻击算法需要更少的查询次数，并且攻击成功率提高了 2 到 10 倍。

    Jul, 2020

  • 如何提高黑盒机器学习模型的鲁棒性？零阶优化视角

    本文提出了一种针对黑盒模型的防御式操作，通过基于降噪平滑和零阶优化的方法，将自编码器与模型结合，并在此基础上设计了 ZO-AE-DS，该方法在图像分类和重建任务上表现出更好的准确性、可靠性和查询复杂度。

    Mar, 2022