深度卷积神经网络的鲁棒性建模的系统方法

Jan, 2024

深度卷积神经网络的鲁棒性建模的系统方法

A Systematic Approach to Robustness Modelling for Deep Convolutional Neural Networks

Charles Meyers, Mohammad Reza Saleh Sedghpour, Tommy Löfstedt, Erik Elmroth

TL;DR卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

Abstract

convolutional neural networks have shown to be widely applicable to a large number of fields when large amounts of labelled data are available. The recent trend has been to use models with increasingly larger sets of tunable parameters to increase model accuracy, reduce model loss, or

convolutional neural networks hidden layers resnet model adversarial robustness computational cost

发现论文，激发创造

准确性和鲁棒性是否相关？

通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

Oct, 2016

可证明的对抗性防御的扩展

本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。

May, 2018

鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

Aug, 2018

卷积神经网络的强健性和可迁移性研究

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

通过多分辨率学习提高深度卷积神经网络的稳健性

当前的深度学习学习过程，无论使用何种深度神经网络 (DNN) 架构和 / 或学习算法，本质上是单分辨率训练。我们探索多分辨率学习并表明，多分辨率学习可以显著提高 DNN 模型在一维信号和二维信号 (图像) 预测问题中的鲁棒性。我们不仅在噪声和对抗性鲁棒性方面展示了这种改进，而且在小训练数据集大小情况下也得到了改进。我们的结果还表明，通过多分辨率学习，不必以标准准确度换取鲁棒性，这与传统的单分辨率学习环境的观察结果相反。

Sep, 2023

朝着对大幅扰动有抵抗力的深度学习模型

本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于 MNIST 数据集可行扰动范围的见解。

Mar, 2020

高效的 ResNets: 残差网络设计

本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类，通过一些训练策略和合适的超参数，最终测试准确率达到 96.04％。

Jun, 2023

卷积滤波器视角下的对抗性鲁棒性

在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中，发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器，且具有更高的分类精度，需要更深层网络结构来实现，此方法也被成功地应用于 CIFAR-10 数据集中。

Apr, 2022

从架构角度重新审视残差网络的对抗鲁棒性

本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列 RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了 AutoAttack 鲁棒准确率的最新记录。

Dec, 2022

高效提升预训练模型的鲁棒性

使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

Sep, 2023