Apr, 2024

黑盒对抗迁移性：一个基于网络安全的经验研究

PDF
TL;DR在网络安全领域中，人工智能的快速发展引起了重大安全关注，深度学习模型在对抗性攻击中的脆弱性是主要问题之一，该研究的关键贡献是在网络攻击检测系统中经验性地测试黑盒对抗转移现象，并验证了任何深度学习模型都极易受到对抗攻击的影响，即使攻击者无法访问目标模型的内部细节，白盒对抗攻击相比黑盒对抗攻击具有更严重的影响。因此，有必要研究和探索对抗性防御技术以增强深度学习模型对对抗攻击的鲁棒性。
发现论文，激发创造
  • 计算机视觉模型的黑盒对抗攻击综述

    该论文介绍了对各种黑盒对抗攻击和防御技术的全面比较研究，旨在提高模型的鲁棒性。

    Dec, 2019

  • 机器学习中的可迁移性：从现象到黑盒攻击利用对抗样本

    对机器学习模型的黑盒攻击是可能的，即使它们的结构不同。通过生成对抗性样本，并利用受害者模型标记合成训练集，攻击者可以训练出自己的替代模型，并将对抗性样本转移到受害者模型中实施攻击，该方法可以使用新的技术使攻击过程更加有效率，在 Amazon 和 Google 等公司的商业机器学习分类系统中展示了攻击的有效性。

    May, 2016

  • 深度神经网络中对抗性样本的可迁移性调查

    深度神经网络的关键问题之一是对抗性攻击和转移性，考虑到安全性和未来的发展，需要加强对抗性漏洞的防御。

    Oct, 2023

  • 黑盒学习系统中对抗样本的阻断可迁移性

    本文提出了一种训练方法来防止黑盒学习系统受到对抗性示例的攻击，该方法通过在输出类集中增加一个 NULL 标签并训练分类器将对抗性示例分类为 NULL 来阻止其可转让性。实验表明该方法能够有效抵御对抗性示例的攻击，同时在干净数据上保持准确度。

    Mar, 2017

  • 转移攻击再探：在实际计算机视觉环境下的大规模经验研究

    本文通过大规模系统的实证研究，探究了云端机器学习服务平台的漏洞和其普遍存在的在深度神经网络中的 “对抗攻击” 问题，发现先前的假设和结论在真实世界环境下不再一致，并指出了对未来研究方向的启示。

    Apr, 2022

  • 探究可转移的对抗样本和黑盒攻击

    本文首次对大规模数据集和大型模型进行了对抗样本的可迁移性的研究，同时也是首次研究了设计有目标的对抗样本在其目标标签之间的可转移性。通过新颖的集成方法，本文发现大量有目标的对抗样本可以成功地与其目标标签一起转移，并且这些使用集成方法生成的对抗样本可以成功地攻击黑匣子图像分类系统 Clarifai.com。

    Nov, 2016

  • 基于可转移模型嵌入的黑盒对抗攻击

    本文提出了一种新的黑盒对抗攻击方法，通过使用预训练模型学习低维嵌入，然后在此嵌入空间内进行高效搜索，从而攻击未知目标网络。该方法能够生成具有高级语义模式的对抗性扰动，易于迁移，可大大提高黑盒对抗攻击的查询效率。作者在 MNIST、ImageNet 和 Google Cloud Vision API 上进行评估，并在 CIFAR10 和 ImageNet 上攻击对抗性防御网络，取得了良好的攻击效果。

    Nov, 2019

  • 决策型对抗攻击：针对黑盒机器学习模型的可靠攻击

    本研究介绍了基于模型决策的 Boundary Attack，它比传统基于梯度或得分的攻击更加适用于实际的黑盒模型应用，同时它不需要替代模型，比起传输攻击需要更少的知识，更容易应用，提高了机器学习模型的鲁棒性，同时也引发了有关部署机器学习系统安全性的新问题。

    Dec, 2017

  • 从攻击到防御：对黑箱设置中的深度学习安全措施的洞察

    深度学习模型对抗攻击和防御的鲁棒性的综合实验研究表明，模型复杂度和鲁棒性之间存在显著关系，并且应用防御策略可以显著减少攻击效果。

    May, 2024

  • 灰盒对抗训练

    本文介绍了对抗性训练及其在构建鲁棒模型方面的应用，提出了新型白盒和黑盒攻击，即灰盒对抗攻击，提出了一种新颖的模型鲁棒性评估方法，并提出了一种新型的对抗性训练：灰盒对抗训练，其使用模型的中间版本来引导敌手生成更加有效的对抗样本，实验证明此方面的成果优于传统方法。

    Aug, 2018