深度网络的几何鲁棒性:分析与提升
研究通过 GeoRobust 在深度神经网络上实现几何变换的鲁棒性分析,并提供了基于 Lipschitz 理论的最坏情况变换证明保证。我们还发现,在 ImageNet 分类器上,增加深度比增加宽度更有益于提高网络的几何鲁棒性。
Jan, 2023
本文提出了 DeepFool 算法,通过欺骗深度神经网络来计算对其进行扰动的鲁棒性,从而比现有方法更好地计算对抗扰动和提高分类器的鲁棒性。
Nov, 2015
本文提出了一种严谨和系统的方法来量化任何分类器对几何变换的不变性,并使用该方法证明了数据增强对学习不变性的重要性,以及卷积神经网络深度增加时不变性的增加。该方法可应用于评估和比较分类器的不变性,并有助于改进现有分类器的不变性。
Jul, 2015
本文提出了一种新的扰动流形及其关联的影响度量方法,通过该方法可以量化各种扰动对 DNN 分类器的影响,主要应用于四个模型构建任务:检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明,该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。
Jan, 2019
本文提出 Fortified Networks,通过加强深度神经网络的隐藏层来提高深度网络的鲁棒性,尤其是在面对对抗性攻击的情况下。Fortified Networks 主要通过识别隐藏状态是否脱离了数据流形来操作,将隐藏状态映射回数据流形。实验显示该方法能够提高深度网络的鲁棒性,并且优于对输入层进行增强。
Apr, 2018
本文通过理论分析和几何方法,探究深度神经网络在面对普适性扰动时的稳健性,并揭示了决策边界几何形态(平坦或曲线)与稳健性之间的关系,证明了在正曲率方向上存在共享决策边界的情况下,存在极小的普适性扰动。
May, 2017
该文章提出了一种新的深度学习目标公式,在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力,同时介绍了一种基于几何感知的深度转换技术,从而实现了非线性、具有鲁棒性的特征转换,该方法在合成和真实数据方面表现良好,并支持所提出的框架使用 (K,ε)- 鲁棒性分析。
Sep, 2015
神经网络中的不变性对很多任务来说是有用且必要的,然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法,这些方法在内部表征方面是高效且可解释的,适用于任何神经网络模型。相比先前定义的测量方法,它们对不变性更敏感。我们在仿射变换领域、CIFAR10 和 MNIST 数据集上验证了这些测量方法及其特性,包括它们的稳定性和可解释性。利用这些测量方法,我们对 CNN 模型进行了首次分析,并展示了它们对于随机权重初始化具有显著的稳定性,但对于数据集或变换的变化则不稳定。我们相信这些测量方法将开启不变性表征的新研究方向。
Oct, 2023
该论文提供了一种新的研究深度学习鲁棒性的方法,使用另一个参考神经网络来定义给定神经网络应该是不变的扰动集,从而使得衡量鲁棒性等于衡量两个神经网络共享的不变。通过提出一种称为 STIR 的新的相似度测量方法,可以获得有关共享不变的见解,并考察其与权重初始化、网络结构、损失函数和训练数据集的变化之间的关系。
Jun, 2022