May, 2016

机器学习中的可迁移性：从现象到黑盒攻击利用对抗样本

PDF
TL;DR对机器学习模型的黑盒攻击是可能的，即使它们的结构不同。通过生成对抗性样本，并利用受害者模型标记合成训练集，攻击者可以训练出自己的替代模型，并将对抗性样本转移到受害者模型中实施攻击，该方法可以使用新的技术使攻击过程更加有效率，在 Amazon 和 Google 等公司的商业机器学习分类系统中展示了攻击的有效性。
发现论文，激发创造
  • 黑盒学习系统中对抗样本的阻断可迁移性

    本文提出了一种训练方法来防止黑盒学习系统受到对抗性示例的攻击，该方法通过在输出类集中增加一个 NULL 标签并训练分类器将对抗性示例分类为 NULL 来阻止其可转让性。实验表明该方法能够有效抵御对抗性示例的攻击，同时在干净数据上保持准确度。

    Mar, 2017

  • 探究可转移的对抗样本和黑盒攻击

    本文首次对大规模数据集和大型模型进行了对抗样本的可迁移性的研究，同时也是首次研究了设计有目标的对抗样本在其目标标签之间的可转移性。通过新颖的集成方法，本文发现大量有目标的对抗样本可以成功地与其目标标签一起转移，并且这些使用集成方法生成的对抗样本可以成功地攻击黑匣子图像分类系统 Clarifai.com。

    Nov, 2016

  • 黑盒对抗迁移性：一个基于网络安全的经验研究

    在网络安全领域中，人工智能的快速发展引起了重大安全关注，深度学习模型在对抗性攻击中的脆弱性是主要问题之一，该研究的关键贡献是在网络攻击检测系统中经验性地测试黑盒对抗转移现象，并验证了任何深度学习模型都极易受到对抗攻击的影响，即使攻击者无法访问目标模型的内部细节，白盒对抗攻击相比黑盒对抗攻击具有更严重的影响。因此，有必要研究和探索对抗性防御技术以增强深度学习模型对对抗攻击的鲁棒性。

    Apr, 2024

  • 机器学习的实用黑盒攻击

    该研究介绍了一种利用黑盒攻击实现远程控制机器学习模型的方法，该攻击方式不需要了解模型内部或训练数据。研究表明该黑盒攻击策略可适用于许多机器学习技术，并且能够规避之前发现的防御策略。

    Feb, 2016

  • 深度神经网络中对抗性样本的可迁移性调查

    深度神经网络的关键问题之一是对抗性攻击和转移性，考虑到安全性和未来的发展，需要加强对抗性漏洞的防御。

    Oct, 2023

  • 转移攻击再探：在实际计算机视觉环境下的大规模经验研究

    本文通过大规模系统的实证研究，探究了云端机器学习服务平台的漏洞和其普遍存在的在深度神经网络中的 “对抗攻击” 问题，发现先前的假设和结论在真实世界环境下不再一致，并指出了对未来研究方向的启示。

    Apr, 2022

  • 可转移对抗样本的空间

    本文提出测量对抗样本空间维度的新方法，发现对抗性子空间在很大的维度上相互重叠并且共享在不同模型之间，通过探究模型决策边界的相似性和转移攻击的局限性，本文表明可能存在抵抗传输攻击的防御方法。

    Apr, 2017

  • 可转移的可用性毒化攻击

    用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式，并提出了可转移的中毒攻击来生成高频中毒扰动，该攻击具有显著改善的可转移性。

    Oct, 2023

  • 元学习通用黑盒对抗攻击

    文章提出了利用历史攻击反馈信息来降低黑盒对抗攻击的查询成本，通过开发一个元学习框架来训练元 Perturbation 生成器，以产生有效的干扰，同时利用模型级对抗可迁移性来训练元生成器，以帮助攻击目标模型。这个框架可以与任何现成的基于查询攻击方法结合使用，以提高攻击性能。

    Jan, 2023

  • 重新审视可转移对抗图像示例：攻击分类、评估准则和新见解

    通过建立新的评估准则，我们在 ImageNet 上对 23 种典型攻击与 9 种代表性防御进行了首次大规模的可传递对抗样本评估，发现既有的评估存在误导性结论和遗漏点，从而阻碍了该领域的实际进展评估。

    Oct, 2023