本文介绍在神经网络验证中如何利用凸松弛来证明一系列比较丰富的非线性规约,包括物理系统学习到的动力学模型的能量守恒,分类器的输出标签在对抗性扰动下的语义一致性以及预测手写数字求和的系统所包含的误差等,实验验证了该方法的有效性。
Feb, 2019
提出了一种可扩展的技术,用于上界生成模型的 Lipschitz 常数,该方法使用 zonotope 对可达向量雅可比积的集合进行逐层凸逼近来近似该数量,扩展到具有较大输出维度的神经网络的 Lipschitz 估计,为小网络提供有效和紧密的边界,并可用于采用 VAE 和 DCGAN 结构的生成模型。
Jul, 2021
本研究提出了一种新的凸松弛方法,用于评估计算机视觉模型对于向量场攻击的鲁棒性,该方法可以为广泛的神经网络验证工具提供证明,实验证明该方法具有较高的效率和可扩展性。
Sep, 2020
该论文提出了一种新的框架 GCERT,可根据语义层面的图像变异准确地验证神经网络的鲁棒性,并通过生成模型的潜在空间中的方向将全面的语义层面的图像变异一致地表示为整体,以获得精确的分析友好的输入空间表示,同时大大缩短了鲁棒性认证的时间成本。
Jun, 2023
通过在网络中加入全局 Lipschitz 边界,文中提出的方法可以快速训练大型强健的神经网络,实现了可证明的最先进的可验证准确性。同时,该方法比最近的可证方法需要的时间和内存少得多,并在在线认证时产生可忽略的成本。
Feb, 2021
通过生成一个确保更稳健的神经网络的近似方法,来解决神经网络的准确性和稳健性之间的权衡关系。该方法是完全凸的,并将其作为半正定规划提出。将其应用于稳健化模型预测控制以验证结果,旨在介绍一种在神经网络准确性和稳健性之间权衡的方法。
May, 2024
本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性,提出了一种基于神经符号学的验证框架,并采用生成模型学习数据扰动,解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题,实验结果表明,该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法,可以有效应对各种严峻的分布转化挑战。
Jun, 2022
本研究提出了广义随机平滑(GSmooth)理论框架及算法,通过新的维度扩增策略,可证明机器学习系统对普遍的语义转换是有稳健性的,采用基准测试的方法得到的结果显示了我们的方法非常有效。
通过使用一种简单的搜索方法,精心地根据最先进的算法配置技术调整给定的验证问题,我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量,进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。
Jun, 2024
本文提出一种新的解决方案,通过手术人工神经元,进行神经元移植实现对 DNN 表达力和鲁棒性的权衡,通过线性化不重要的 ReLU 神经元来减少大型 DNN 中的非线性成分,最终实现在维持可证明性的前提下提高模型表现的目的。