Dec, 2023

扩展计算能力不足以确保对抗性鲁棒性

PDF
TL;DR通过推导「对抗鲁棒性的扩展规律」，本文旨在回答计算能力能在多大程度上推动对抗鲁棒性的进展，并发现了一些值得未来研究探索的方向，同时还提供了一个基于「timm」的基准测试框架供进一步的高效鲁棒深度学习分析。
adversarially robust deep learningscaling laws for adversarial robustnesscomputational budgetstop-performing techniquesbenchmarking framework
发现论文，激发创造
  • 通过缩放定律和人机对齐研究来限制对抗鲁棒性

    对于使图像分类器对微小扰动具有稳健性的问题，本文通过开发对抗训练的首个可扩展规律分析了模型大小、数据集大小和合成数据质量对稳健性的影响，并提出了对进一步推动该领域的可行建议。

    Apr, 2024

  • 数量大于强度：通过对抗训练的集合优化鲁棒性和计算效率

    通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

    Nov, 2018

  • 基于扩散模型的认证对抗性容忍度提高

    使用最先进的扩散模型生成额外的训练数据可以极大地提高敌对训练的鲁棒性，该方法同样可以明显提高确定性认证防御的鲁棒性，我们还提供了一些建议来扩展认证训练方法的鲁棒性。

    May, 2023

  • 可证明的对抗性防御的扩展

    本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

    May, 2018

  • 鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

    本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

    Aug, 2018

  • 朝着对大幅扰动有抵抗力的深度学习模型

    本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于 MNIST 数据集可行扰动范围的见解。

    Mar, 2020

  • 利用逐步放大的随机梯度自由对抗攻击揭示了使用成熟攻击方法对稳健性的高估

    对 ReLu 神经网络进行梯度自由攻击可以提供对抗性攻击下的网络鲁棒性评估，相比于之前的最先进方法，可以更紧确地估计网络鲁棒性

    Mar, 2019

  • 扩展对抗训练以应对大扰动界限

    本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

    Oct, 2022

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021