Aug, 2022

Sigmoid 型神经网络鲁棒性验证的可证紧线性逼近

PDF
TL;DR本文介绍了深度神经网络的鲁棒性的重要性及其应用场景，探讨了 Sigmoid 激活函数作为近似函数的限制，提出了全面的神经网络紧度定义方法，实现了证明下限稳健性的大幅改善。通过提高识别网络的准确度，使得卷积神经网络获得了明显更精确的验证结果。
deep neural networkssigmoid-like activation functionstight approximationsnetwork-wise tightnessrobustness
发现论文，激发创造
  • 利用紧线性逼近证明卷积神经网络的鲁棒性

    本文提出了一种紧线性逼近方法 (Ti-Lin) 来验证卷积神经网络的稳健性，使用 MNIST，CIFAR-10 和 Tiny ImageNet 数据集对 Ti-Lin 进行评估，结果表明 Ti-Lin 明显优于其他五种最先进的方法，对纯 CNN 具有 Sigmoid/Tanh/Arctan 函数和具有 Maxpooling 功能的 CNN 的稳健性边界水平提高了最多 63.70％和 253.54％。

    Nov, 2022

  • 神经网络中 S 形非线性函数的线性界限函数自动设计

    通过使用一种简单的搜索方法，精心地根据最先进的算法配置技术调整给定的验证问题，我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量，进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。

    Jun, 2024

  • 两种近似算法的故事：通过欠 - 过估算收紧 DNN 的稳健性验证

    本文研究了神经网络鲁棒性的形式化验证，提出了一种新的双重逼近方法，利用激活函数的低估区间来定义紧逼近边界，并将其实现到了名为 DualApp 的工具中，在不同体系结构的深度神经网络基准测试中，DualApp 方法得到了明显的优化

    May, 2023

  • 基于线性近似的最大池化卷积神经网络的通用鲁棒性验证

    使用紧密线性逼近的 MaxLin 技术，本研究提供了一种鲁棒性验证方法，可提高卷积神经网络的认证下界，并在 MNIST、CIFAR-10 和 Tiny ImageNet 数据集上显示出优于现有工具的性能提升。

    Jun, 2024

  • 贝叶斯神经网络中概率鲁棒性的严格验证

    我们介绍了两种算法，用于计算贝叶斯神经网络（BNNs）的概率鲁棒性的严格保证。

    Jan, 2024

  • 带有认证网络的通用逼近

    本文证明了对于任何连续函数 f，都存在一个网络 n，使得 n 能够逼近 f 并在 n 中通过简单区间传播得到的在区间 B 上的输出结果能够任意接近 f 在 B 上的最优值。这个结果可视为针对间隔认证 ReLU 网络的通用逼近定理。据我们所知，这是首次证明存在准确的间隔认证网络。

    Sep, 2019

  • 面向实际分布偏移的认证鲁棒性

    本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

    Jun, 2022

  • 通过 ReLU 神经网络的最小最大表示实现严密的认证鲁棒性

    本文提供了一种基于概率测度优化的方法，通过将问题抬升到无限维度优化来获得 ReLU 神经网络的紧凑可靠性证明，并证明在一定条件下，原始非凸问题的解可以由离散分布生成，从而可以完全解决模型的最优攻击问题。

    Oct, 2023

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 深度 ReLU 网络的逼近误差界

    研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

    Oct, 2016