对抗鲁棒性基准测试
本研究通过使用多个强健度和成功率等措施,在306个模型对之间全面测试了18个ImageNet模型,并揭示了若干新的见解:(1)在分类错误的对数下,经验L2和L∞扭曲度量呈线性比例律;(2)模型架构比模型尺寸更重要;(3)对于相似的网络架构,略微增加网络深度可在L∞扭曲度上提高强健性;(4)存在具有高度敌对可转性的模型,而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。
Aug, 2018
该文章为图像分类器的稳健性建立了严格的基准测试,并提出了两个基准测试 ImageNet-C 和 ImageNet-P,用于评估分类器对常见扰动和干扰的稳健性。研究发现,从 AlexNet 分类器到 ResNet 分类器,相对污染鲁棒性几乎没有变化,而绕过的对抗性防御提供了实质性的常见干扰强度。
Mar, 2019
深度学习领域的对抗攻击和防御是目前研究的活跃领域。本文针对防御方法进行分类,提出了不同的分类方法:通过增加特征向量的类内紧凑性和类间分隔性来提高对抗鲁棒性,减小或移除非鲁棒图像特征来提高对抗鲁棒性。通过这种重新构架话题的方式,提供了新的视角,深入探讨使网络变得更加强健的潜在因素,启发了更多的解决方案。此外,文献中有一些关于对抗防御成本问题和鲁棒性与准确性之间的权衡的论述,但我们提出的分类方法可以解决这些问题。本文提出了几项挑战,以此推动深度学习研究的进一步发展。
Oct, 2019
本文提出两个方法以提高PGD攻击的效率,进而结合现有方法构成一个全新的攻击集合,用于测试对抗鲁棒性,并在50多个模型上进行了测试,发现一些已经被攻破的防御机制。
Mar, 2020
为了建立标准化的对抗性鲁棒性基准,我们考虑了图片分类任务,并引入了允许的模型限制,使用 AutoAttack 进行评估,同时提供80多种鲁棒模型的开源库,分析了鲁棒性对分布偏移、平滑性等性能的影响。
Oct, 2020
本文研究了对抗训练中的类别鲁棒性问题,提出了一种基于温度的PGD攻击方法,并对训练和推断阶段进行了改进,以降低类别鲁棒性差异。实验结果表明,该方法可以取得更高的攻击成功率。
May, 2021
提出了RobustART,对ImageNet的ARchitecture设计和Training技术进行了全面的稳健性调查基准,验证了对于Transformer和MLP-Mixer,Adversarial训练在稳健性方面是有效的,CNNs > Transformers > MLP-Mixers在稳健性方面表现更好,RobustART为深入了解设计强大的DNNs机制提供了新的视角。
Sep, 2021
本篇研究讨论了RobustBench在实际应用中作为鲁棒性关键指标的适用性,通过对该平台中数据更改和分辨率等方面的分析实验,提出了两个观点:一是数据更改强度过大,无法反映真实情况;二是基于梯度的攻击在低分辨率上表现较好,但对于高分辨率数据不具有泛化能力。
Dec, 2021
现如今基于神经网络的图像和视频质量度量表现出比传统方法更好的性能。然而,它们也变得更容易受到对抗攻击,这些攻击可以增加度量指标的分数,而无需改善视觉质量。现有的质量度量基准主要通过与主观质量的相关性和计算时间来比较性能。然而,图像质量度量的对抗鲁棒性也是一个值得研究的领域。本文分析了现代度量在不同对抗攻击下的鲁棒性,并对15种无参考图像/视频质量度量的攻击效果进行了比较。一些度量显示出很高的抵抗对抗攻击的能力,使得它们在基准测试中的使用比易受攻击的度量更加可靠。该基准测试接受研究人员提交新的度量方法,使得研究人员可以使自己的度量方法更加抵抗攻击,或者寻找适合自己需求的度量方法。可以通过 pip install robustness-benchmark 来使用我们的基准测试。
Oct, 2023
通过推导「对抗鲁棒性的扩展规律」,本文旨在回答计算能力能在多大程度上推动对抗鲁棒性的进展,并发现了一些值得未来研究探索的方向,同时还提供了一个基于「timm」的基准测试框架供进一步的高效鲁棒深度学习分析。
Dec, 2023