Oct, 2023

神经网络的不变度量

PDF
TL;DR神经网络中的不变性对很多任务来说是有用且必要的，然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法，这些方法在内部表征方面是高效且可解释的，适用于任何神经网络模型。相比先前定义的测量方法，它们对不变性更敏感。我们在仿射变换领域、CIFAR10 和 MNIST 数据集上验证了这些测量方法及其特性，包括它们的稳定性和可解释性。利用这些测量方法，我们对 CNN 模型进行了首次分析，并展示了它们对于随机权重初始化具有显著的稳定性，但对于数据集或变换的变化则不稳定。我们相信这些测量方法将开启不变性表征的新研究方向。
发现论文，激发创造
  • 通过测量等变性和等价性来理解图像表示

    本文探讨了图像表示的数学属性，如同变性，不变性和等价性等，提出了多种方法来实现这些属性，并应用到流行的表示中来揭示其结构的有益方面。

    Nov, 2014

  • 通过共享不变性度量神经网络的表征稳健性

    该论文提供了一种新的研究深度学习鲁棒性的方法，使用另一个参考神经网络来定义给定神经网络应该是不变的扰动集，从而使得衡量鲁棒性等于衡量两个神经网络共享的不变。通过提出一种称为 STIR 的新的相似度测量方法，可以获得有关共享不变的见解，并考察其与权重初始化、网络结构、损失函数和训练数据集的变化之间的关系。

    Jun, 2022

  • 理解 CNN：利用 INN 解释深度表示及不变性

    为了了解神经网络不透明的黑盒表示法，本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量，将其变成易于理解的语义概念，并在不影响性能的情况下进行后期解释。

    Aug, 2020

  • 卷积神经网络中的平移不变性是什么？一项可视化研究

    通过三个实验比较了百万级图像的表示方法，发现使用流行的 CNN 模型提取的特征并不具有全局不变性，并提供了一个代码库以及一个网站，可以与实验结果互动交流。

    Nov, 2020

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020

  • 卷积神经网络中的平移不变量量化

    研究卷积神经网络中实现图像识别中的平移不变性的因素，并发现训练数据增量是获得平移不变表示的最重要因素。

    Dec, 2017

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 通过解释不变性和等变性评估可解释性方法的鲁棒性

    通过几何深度学习的形式化方法，本文研究了神经网络的对称群不变性及其对解释性方法的影响，提出了对称性相关的鲁棒性指标和提高对称性相关解释的系统方法，并通过实验给出了 5 个可行的指南以产生稳健的解释。

    Apr, 2023

  • 深度神经网络的敏感性分析

    本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

    Jan, 2019