神经网络中 S 形非线性函数的线性界限函数自动设计
本文介绍了深度神经网络的鲁棒性的重要性及其应用场景,探讨了 Sigmoid 激活函数作为近似函数的限制,提出了全面的神经网络紧度定义方法,实现了证明下限稳健性的大幅改善。通过提高识别网络的准确度,使得卷积神经网络获得了明显更精确的验证结果。
Aug, 2022
本文扩展了一种现有的神经网络验证技术,以支持更广泛的分段线性激活函数类别,并将原始的算法扩展以提供对以起始集表示的有界输入集的精确结果或上估计结果,并允许无界输入集。我们实施了我们的算法,并在一些案例研究中展示了它们的有效性。
Nov, 2023
本文介绍在神经网络验证中如何利用凸松弛来证明一系列比较丰富的非线性规约,包括物理系统学习到的动力学模型的能量守恒,分类器的输出标签在对抗性扰动下的语义一致性以及预测手写数字求和的系统所包含的误差等,实验验证了该方法的有效性。
Feb, 2019
本文提出了一种紧线性逼近方法 (Ti-Lin) 来验证卷积神经网络的稳健性,使用 MNIST,CIFAR-10 和 Tiny ImageNet 数据集对 Ti-Lin 进行评估,结果表明 Ti-Lin 明显优于其他五种最先进的方法,对纯 CNN 具有 Sigmoid/Tanh/Arctan 函数和具有 Maxpooling 功能的 CNN 的稳健性边界水平提高了最多 63.70%和 253.54%。
Nov, 2022
本文研究了神经网络鲁棒性的形式化验证,提出了一种新的双重逼近方法,利用激活函数的低估区间来定义紧逼近边界,并将其实现到了名为 DualApp 的工具中,在不同体系结构的深度神经网络基准测试中,DualApp 方法得到了明显的优化
May, 2023
本文提出了一种通用的神经网络形式验证框架,通过将验证问题转化为最优化问题,并通过我们提出的松弛算法得到可靠的上界,从而可对神经网络的输入和输出属性满足的规范进行形式化验证。
Mar, 2018
本研究探讨神经网络的损失面。结果表明,大多数情况下,即使对于具有最轻微的非线性的单隐藏层网络,经验风险也有伪局部最小值。我们对深线性网络的全局最优性进行了全面的表征,统一了这个主题上的其他结果。
Feb, 2018
通过半定规划的框架来解决对于神经网络在输入不确定性和对抗攻击下的安全性和强鲁棒性认证的问题,通过抽象出激活函数的各种性质,分析其安全性质,解决了保守性和计算效率的平衡问题,并且可以应用于安全认证以外的问题。
Mar, 2019
该论文介绍了一种名为 CROWN 的通用框架,可以证明具有一般激活函数的神经网络分类器对于给定的输入数据点是健壮的,通过绑定给定激活函数的线性和二次函数,从而可以处理包括但不限于 ReLU、tanh、sigmoid 和 arctan 在内的一般激活函数,同时在可比的计算效率下,在 ReLU 网络上 CROWN 可以显着提高认证下限,同时 CROWN 能够展示其对包括 tanh、sigmoid 和 arctan 在内的具有一般激活函数的网络的有效性和灵活性。
Nov, 2018
本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性,提出了一种基于神经符号学的验证框架,并采用生成模型学习数据扰动,解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题,实验结果表明,该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法,可以有效应对各种严峻的分布转化挑战。
Jun, 2022