从架构角度重新审视残差网络的对抗鲁棒性

Dec, 2022

从架构角度重新审视残差网络的对抗鲁棒性

Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective

Shihua Huang, Zhichao Lu, Kalyanmoy Deb, Vishnu Naresh Boddeti

TL;DR本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列 RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了 AutoAttack 鲁棒准确率的最新记录。

Abstract

Efforts to improve the adversarial robustness of convolutional neural networks have primarily focused on developing more effective adversarial training methods. In contrast, little attention was devoted to analyz

adversarial robustness convolutional neural network architecture design residual networks robustness

发现论文，激发创造

探索对抗鲁棒深度神经网络的架构因素

本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高对抗攻击的鲁棒性，并提供了理论分析，这些架构可帮助进行设计更具对抗攻击鲁棒性的 DNN。

Oct, 2021

稳健原则：对抗稳健 CNN 的架构设计原则

我们研究的目标是统一现有作品在架构组件如何影响 CNN 的对抗鲁棒性方面的分歧意见。为了实现我们的目标，我们综合了三个可推广的鲁棒架构设计原则：(a) 深度和宽度配置的最佳范围，(b) 优先使用卷积而非拼贴块的初始阶段，和 (c) 通过采用挤压和激励块以及非参数平滑激活函数的鲁棒残差块设计。通过在广泛的数据集规模、对抗训练方法、模型参数和网络设计空间上进行大量实验证明，我们的原则始终显著提高 AutoAttack 的准确性：CIFAR-10 和 CIFAR-100 上为 1-3 个百分点 (pp)，ImageNet 上为 4-9 个百分点 (pp)。代码可以公开访问该 URL。

Aug, 2023

当 NAS 遇上鲁棒性：寻找对抗攻击的鲁棒架构

通过一次性神经网络结构搜索，研究了对对抗攻击弹性更强的网络结构模式，并基于这些模式提出了一族更具弹性的网络结构 RobNets。这些结构在多个数据集上表现出更优异的弹性表现，即使具有更少的参数数量，在白盒和黑盒攻击下都表现出 5% 的绝对收益。

Nov, 2019

RobArch：设计抗击恶意攻击的稳健架构

本研究通过对 DNN 体系结构组件进行大规模系统研究，提炼出 18 个可操作的鲁棒网络设计准则，构建了一系列在参数容量上对抗攻击稳健的模型家族，并介绍了新型 Robust Architecture (RobArch) 模型的应用。通过我们的实验，RobArch 在 RobustBench ImageNet 排行榜上的 AutoAttack 准确性达到了新的 state-of-the-art。

Jan, 2023

对抗鲁棒性与架构组件的相互作用：补丁、卷积和注意力

该研究比较了多种不同架构的分类器，通过对其对抗训练的表现及可解释性下降等性质进行研究，揭示了 ResNet 与 ConvNeXt 等构架变化与模型对抗鲁棒性之间的关系。

Sep, 2022

宽残差网络

通过对 ResNet 模块架构的详细实验研究，本文提出了一种新的网络架构 —— 宽残差网络 (WRNs)，通过降低深度、增加宽度优化 ResNet 网络，证明其在准确度和效率上优于传统的浅而深层的残差网络模型，实现了在 CIFAR, SVHN, COCO 以及 ImageNet 等数据集上的准确度和效率的新突破。

May, 2016

深度卷积神经网络的鲁棒性建模的系统方法

卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

Jan, 2024

残差网络的残差网络：多层残差网络

本文提出一种新的残差网络架构 RoR，通过在现有的残差网络中添加层次化的快捷连接实现优化，从而提升其学习能力，进而提高性能，实验结果展示 RoR 在各种残差网络类型中的有效性和通用性，并在多个数据集上达到最佳性能表现。

Aug, 2016

准确性和鲁棒性是否相关？

通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

Oct, 2016

神经架构扩张增强对抗性鲁棒性

本文介绍了基于神经网络框架的扩张算法来提高卷积神经网络在对抗攻击下的鲁棒性能，实验结果表明该算法能够在不损失标准准确性的前提下提高对抗鲁棒性。

Aug, 2021