ICMLJun, 2022

通过共享不变性度量神经网络的表征稳健性

PDF
TL;DR该论文提供了一种新的研究深度学习鲁棒性的方法，使用另一个参考神经网络来定义给定神经网络应该是不变的扰动集，从而使得衡量鲁棒性等于衡量两个神经网络共享的不变。通过提出一种称为 STIR 的新的相似度测量方法，可以获得有关共享不变的见解，并考察其与权重初始化、网络结构、损失函数和训练数据集的变化之间的关系。
发现论文，激发创造
  • 神经网络的不变度量

    神经网络中的不变性对很多任务来说是有用且必要的，然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法，这些方法在内部表征方面是高效且可解释的，适用于任何神经网络模型。相比先前定义的测量方法，它们对不变性更敏感。我们在仿射变换领域、CIFAR10 和 MNIST 数据集上验证了这些测量方法及其特性，包括它们的稳定性和可解释性。利用这些测量方法，我们对 CNN 模型进行了首次分析，并展示了它们对于随机权重初始化具有显著的稳定性，但对于数据集或变换的变化则不稳定。我们相信这些测量方法将开启不变性表征的新研究方向。

    Oct, 2023

  • 深度神经网络中的不变性是否与人类感知相一致？

    研究如何将深度神经网络通过生成具有相同表现的输入来捕捉感知的不变性，并通过敌对正则化程序与人类感知对齐来评估其安全可靠性。

    Nov, 2021

  • 深度神经网络的敏感性分析

    本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

    Jan, 2019

  • 深度网络的几何鲁棒性：分析与提升

    本文提出了一种简单且可扩展的算法 ManiFool，用于测量深度神经网络对于几何变换的不变性，进而提出了一种新的对抗训练方案以提高深度神经网络的不变性。

    Nov, 2017

  • 神经网络鲁棒性解释和评估

    该研究提出了一种定量指标来评估神经网络模型的内在稳健性，并通过损失可视化的方式解释了对抗攻击和防御机制。该指标具有快速生成、结构和参数规模无关、可靠性高的优点，并提供了一种相对于不同测试设置不变的评估方法。

    May, 2019

  • 随机量化神经网络在不变表示学习中的应用

    本文提出了一种通过直接计算神经层和敏感属性之间的互信息来实现公平表示的方法，该方法利用了基于随机二值化神经网络的 representation learning 算法，相对于全精度神经网络，该方法的学习表示具有更高的不变性。

    Aug, 2022

  • 使用约束测量神经网络的健壮性

    提出了度量神经网络抗干扰能力的度量方法，并设计了一种基于线性规划方法的算法来近似度量方法。该算法对比现有算法生成了更加准确的度量估计，并且可以被用来提高神经网络的稳健性能。

    May, 2016

  • 通过测量等变性和等价性来理解图像表示

    本文探讨了图像表示的数学属性，如同变性，不变性和等价性等，提出了多种方法来实现这些属性，并应用到流行的表示中来揭示其结构的有益方面。

    Nov, 2014

  • 基于深度学习的压缩感知鲁棒性评估

    对比深度神经网络和传统的稀疏方法，本文分析了图像重建的鲁棒性，并发现深度神经网络方法比传统方法在保持稳健性的前提下，提供更高的重建质量。

    Feb, 2021

  • 对抗性鲁棒性和普通扰动鲁棒性是否独立属性？

    本文探讨了神经网络在面对平移、对比度下降等常见扰动时的稳健性与面临恶意输入时的对抗性之间的联系，提供了一个基准测试作为评价神经网络对常见扰动的稳健性，证明了提高神经网络对特定常见扰动的稳健性可以提高它们对未见过的常见扰动的稳健性，同时还说明了对抗对抗性和常见扰动稳健性是相互独立的。

    Sep, 2019