卷积神经网络对内部结构和权重扰动的鲁棒性

ICMLMar, 2017

卷积神经网络对内部结构和权重扰动的鲁棒性

On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations

Nicholas Cheney, Martin Schrimpf, Gabriel Kreiman

TL;DR研究卷积神经网络的鲁棒性，证明卷积神经网络对高层卷积层内部扰动具有惊人的鲁棒性，但底层卷积层的鲁棒性较弱，对于相同的扰动会使性能急剧下降，建议进一步研究如何增强卷积神经网络对于内部扰动的鲁棒性。

Abstract

Deep convolutional neural networks are generally regarded as robust function approximators. So far, this intuition is based on perturbations to external stimuli such as the images to be classified. Here we explore the r

convolutional neural networks robustness internal perturbations classification performance architecture

发现论文，激发创造

微扰神经网络

本文介绍了一种名为扰动层的替代卷积层的模块，通过实验证明这种扰动层可以有效地替代传统的卷积层，在多个视觉数据集上与标准 CNNs 性能相当，且拥有更少的参数。

Jun, 2018

图像分类器的鲁棒性和不变性属性

本文研究了深度神经网络在噪声环境中的鲁棒性和不变性，提出了快速计算稀疏对抗扰动和数据增强方法，与数据之间的特征联系起来，以实现更可靠的机器学习系统。

Aug, 2022

深度神经网络的特征层级增强提高仿射变换鲁棒性

本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

Feb, 2022

深度卷积神经网络的鲁棒性建模的系统方法

卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

Jan, 2024

神经架构设计与鲁棒性：一个数据集

本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

深度神经网络架构受退化影响的效果

本文通过对几种深度学习算法在不同图像噪声下的表现进行评估，研究了针对噪声鲁棒性的不同网络架构，以辅助在特定应用环境下选择最佳模型。

Jul, 2018

随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

神经架构扩张增强对抗性鲁棒性

本文介绍了基于神经网络框架的扩张算法来提高卷积神经网络在对抗攻击下的鲁棒性能，实验结果表明该算法能够在不损失标准准确性的前提下提高对抗鲁棒性。

Aug, 2021

面向对抗样本具鲁棒性的深度神经网络架构

该研究论文研究了深度神经网络的鲁棒性问题，特别是针对对抗样本的攻击。通过探索神经网络的结构，拓扑结构，预处理和训练策略等方面来提高深度神经网络的抗干扰能力，并且通过引入平滑性惩罚来提高其稳健性。

Dec, 2014

语义分割和分类的自我纠正扰动

本篇论文探究了卷积神经网络中的一种新行为：通过结构化扰动输入，预训练的 CNN 可以改善其预测性能，这种扰动被称为 Guided Perturbations。实验结果表明，这种方法可以提高现有方法在语义分割和场景标注任务上的性能，并且可以应用于 MNIST 和 CIFAR10 等数据集上的分类任务。

Mar, 2017