MMOct, 2020

一个标准的对抗鲁棒性基准测试 RobustBench

PDF
TL;DR为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供 80 多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。
adversarial robustnessimage classificationbenchmarkingautoattackmodels
发现论文，激发创造
  • RobustBench/AutoAttack 对于对抗性鲁棒性是否是一个合适的评测标准？

    本篇研究讨论了 RobustBench 在实际应用中作为鲁棒性关键指标的适用性，通过对该平台中数据更改和分辨率等方面的分析实验，提出了两个观点：一是数据更改强度过大，无法反映真实情况；二是基于梯度的攻击在低分辨率上表现较好，但对于高分辨率数据不具有泛化能力。

    Dec, 2021

  • 对抗鲁棒性基准测试

    本研究旨在建立一个全面、严谨、连贯的标准来评估对抗性鲁棒性，通过两个鲁棒性曲线作为公正的评估标准来进行大规模实验，全面掌握攻击与防御方法的表现并得出重要结论和未来研究的启示。

    Dec, 2019

  • 通过自适应自动攻击实现对对抗鲁棒性的实用评估

    本文提出一种名为自适应自动攻击 (Adaptive Auto Attack) 的对抗攻击防御评估方法，旨在提高测试时训练的效率和可靠性，通过自适应的初始化和在线统计抛弃策略，使其消耗远少于现有方法的迭代数，并在广泛使用的防御模型上表现出更低的鲁棒性。

    Mar, 2022

  • 从对抗性武器竞赛到模型为中心的评估：推进自动化统一鲁棒性评估框架

    本文提出了一种统一的自动鲁棒性评估框架 RobTest，通过针对模型能力建立鲁棒性评估维度、生成不同维度下的对抗样本，最终实现自动鲁棒性评估。实验结果表明，该框架能有效评估 RoBERTa 模型的鲁棒性。

    May, 2023

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 图形稳健性基准测试：基准测试图形机器学习的对抗稳健性

    本文介绍 Graph Robustness Benchmark (GRB) 以及如何利用其提供的标准化攻击和防御过程、统一评估协议、公共排行榜评估和数据处理来发展更为健壮的图机器学习模型。

    Nov, 2021

  • 企业网络入侵检测的对抗鲁棒性评估

    提出了一种方法论性对多个决策树集成模型进行对抗鲁棒性评估的基准测试，评估了正常和对抗训练的随机森林 (RF)、梯度提升树 (XGB)、轻梯度提升树 (LGBM) 和增强型决策树 (EBM) 模型对网络流量的检测性能，通过减少误报来提高对可疑活动的可靠检测能力。

    Feb, 2024

  • RobustART：建筑设计和训练技术鲁棒性基准测试

    提出了 RobustART，对 ImageNet 的 ARchitecture 设计和 Training 技术进行了全面的稳健性调查基准，验证了对于 Transformer 和 MLP-Mixer，Adversarial 训练在稳健性方面是有效的，CNNs > Transformers > MLP-Mixers 在稳健性方面表现更好，RobustART 为深入了解设计强大的 DNNs 机制提供了新的视角。

    Sep, 2021

  • 评估语义分割模型的对抗鲁棒性

    该研究提出了一种基于梯度的迭代攻击方法来评估在语义图像分割领域中防御对抗扰动的模型的鲁棒性，并发现只有使用对抗样本进行训练才能获得鲁棒性，并分析了鲁棒性和准确性之间的权衡。

    Jun, 2023

  • 实证鲁棒性与认证鲁棒性对抗对策间的缩小

    本文介绍了一种新方法，即通过自适应实现认证，将经过对抗训练的模型转化为随机平滑分类器，在推理过程中提供 l2 范数的认证鲁棒性，同时不影响它们对抗攻击的经验鲁棒性。

    Feb, 2021