NIPSNov, 2018

具有通用激活函数的高效神经网络鲁棒性认证

PDF
TL;DR该论文介绍了一种名为 CROWN 的通用框架，可以证明具有一般激活函数的神经网络分类器对于给定的输入数据点是健壮的，通过绑定给定激活函数的线性和二次函数，从而可以处理包括但不限于 ReLU、tanh、sigmoid 和 arctan 在内的一般激活函数，同时在可比的计算效率下，在 ReLU 网络上 CROWN 可以显着提高认证下限，同时 CROWN 能够展示其对包括 tanh、sigmoid 和 arctan 在内的具有一般激活函数的网络的有效性和灵活性。
发现论文，激发创造
  • CNN-Cert: 一种有效的卷积神经网络稳健性认证框架

    提出了一个可用于卷积神经网络的一般且高效的框架 CNN-Cert 以证明鲁棒性，它通过利用卷积层的特殊结构比现有算法快 17 倍到 11 倍，并且在获得相似或更好的证明上限和速度方面超越了最先进的算法。

    Nov, 2018

  • 深度网络近似：超越 ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023

  • 神经网络中 S 形非线性函数的线性界限函数自动设计

    通过使用一种简单的搜索方法，精心地根据最先进的算法配置技术调整给定的验证问题，我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量，进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。

    Jun, 2024

  • 一种寻找更好激活函数的方法

    通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与 GELU 相比的卓越性能，显示其广泛的实际应用潜力。

    May, 2024

  • 针对 ReLU 网络的对抗性样本的鲁棒性证书

    本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。

    Feb, 2019

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 带有无界激励函数的神经网络是一种通用的逼近器

    通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

    May, 2015

  • 加固 CROWN：提高神经网络鲁棒性认证速度

    本文提出了优化算法 FROWN，该算法可加强神经网络的鲁棒性证书，有效解决深度学习应用中存在的安全问题。

    Dec, 2019

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 面向 Relu 网络的快速计算认证鲁棒性

    本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，否则无法用多项式时间算法求解最小的 l1 失真。

    Apr, 2018