Oct, 2023

具有可定制扭曲的图像分类器稳健性基准生成框架

PDF
TL;DR我们提出了一个新颖的框架，用于生成对抗性基准测试，以评估图像分类模型的鲁棒性。我们的框架允许用户定制应用于图像的最佳失真类型，从而帮助解决与其部署相关的特定失真问题。该基准测试可以生成不同失真水平的数据集，评估不同图像分类器的鲁棒性。我们的结果表明，我们的框架生成的对抗性样本在任何图像分类模型（如 ResNet-50、Inception-V3 和 VGG-16）上都是有效的并且具有传递性，导致其他模型失效。即使使用最先进的技术对这些模型进行对抗式重训练，这些失败仍然会发生，证明了我们对抗性样本的泛化能力。我们在 CIFAR-10 和 ImageNet 上的净 $L_2$ 失真方面取得了与最先进基准技术具有竞争性的性能；然而，我们的框架是通过简单的失真（如高斯噪声）实现这些结果的，而不引入不自然的伪影或颜色渗透。这得益于基于模型的强化学习（RL）代理和将对图像的深度树搜索减少到一级分析和动作的技术，来降低模型对扰动的敏感性。选择失真类型和设置多类别分类概率阈值的灵活性使得我们的框架适用于算法审核。
adversarial benchmarksimage classification modelsdistortionsrobustnessmodel-based reinforcement learning
发现论文，激发创造
  • 生成对抗扰动

    该研究提出了新型生成模型，用于制造近似自然图像但又能欺骗先前训练好的模型的略微扰动的对抗性样本。通过在具有挑战性的高分辨率数据集上的实验，它证明了这种扰动具有高弄虚率和较小的扰动规模，并且比当前的迭代方法更快。

    Dec, 2017

  • 基于文本引导的鲁棒性基准测试

    本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

    Apr, 2023

  • 鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

    本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

    Aug, 2018

  • 评估神经网络对普遍损坏和扰动的鲁棒性能力

    该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。

    Mar, 2019

  • 对扩散合成目标的神经网络稳健性进行基准测试

    我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。

    Mar, 2024

  • 对抗鲁棒性基准测试

    本研究旨在建立一个全面、严谨、连贯的标准来评估对抗性鲁棒性，通过两个鲁棒性曲线作为公正的评估标准来进行大规模实验，全面掌握攻击与防御方法的表现并得出重要结论和未来研究的启示。

    Dec, 2019

  • NAG: 对抗生成网络

    本文提出了一种基于生成对抗网络的方法，通过优化骗过分类器的目标和增加多样性的目标训练生成器，从而模拟对抗性扰动的分布，生成多样的对抗性扰动，实现了在各种分类器上实现骗过率最大化，展示出了更好的通用性。

    Dec, 2017

  • 一个标准的对抗鲁棒性基准测试 RobustBench

    为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供 80 多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。

    Oct, 2020

  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • 自然对抗样本

    使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

    Jul, 2019