Nov, 2018

基于 CNN 的感知系统的形式验证

PDF
TL;DR本研究旨在验证卷积神经网络实现的基于神经元的感知系统，提出了基于仿射和光学变换的本地鲁棒性定义，并通过前馈神经网络的可到达性分析和 MILP 编码来展示此概念无法被以前使用的鲁棒性概念所捕获，并针对经过 MNIST 数据集训练的 CNN 进行了实现和实验结果讨论。
neural-based perception systemsconvolutional neural networkslocal robustnessreachability analysismnist dataset
发现论文，激发创造
  • CNN-Cert: 一种有效的卷积神经网络稳健性认证框架

    提出了一个可用于卷积神经网络的一般且高效的框架 CNN-Cert 以证明鲁棒性，它通过利用卷积层的特殊结构比现有算法快 17 倍到 11 倍，并且在获得相似或更好的证明上限和速度方面超越了最先进的算法。

    Nov, 2018

  • 神经网络控制自主系统的形式化验证

    本文考虑了使用神经网络控制器的自主机器人的安全性问题。通过构建系统的一个有限状态抽象并使用标准的可达性分析方法，计算出一组安全的初始状态，使得从这些初始状态开始的机器人轨迹能够避开多面体障碍物。

    Oct, 2018

  • 神经网络中的鲁棒性验证

    我们研究了神经网络计算的形式验证问题，探讨了其各种鲁棒性和最小化问题。我们提供了一个理论框架，使我们能够在神经网络中转换安全性和效率问题，并分析它们的计算复杂性。我们发现，在半线性设置中，对于分段线性激活函数和使用求和或最大度量时，大多数问题都属于 P 类或最多属于 NP 类。

    Mar, 2024

  • 贝叶斯神经网络中概率鲁棒性的严格验证

    我们介绍了两种算法，用于计算贝叶斯神经网络（BNNs）的概率鲁棒性的严格保证。

    Jan, 2024

  • 用混合整数规划评估神经网络的鲁棒性

    本文提出了一种基于混合整数规划的验证方法，对分段线性神经网络进行验证，以评估其对于对抗样本的脆弱性；通过紧凑的非线性公式和新颖的预处理算法实现了两到三个数量级的计算速度提升，并成功确定了 MNIST 分类器对于一定幅值下的对抗精度，相较于同类算法提供更好的证明。

    Nov, 2017

  • 对象检测的形式验证

    利用形式验证来确保计算机视觉模型的安全性，针对图像分类进行了拓展，提出一种一般性的方案来证明物体检测模型的鲁棒性，并提供了与最先进的验证工具兼容的实现策略。

    Jul, 2024

  • 卷积神经网络中分类误差估计的随机方法

    本技术报告在安全关键应用中，研究了用于图像分类的经过训练的卷积神经网络（CNN）的验证结果。通过使用 ANSI/UL 4600 和 ISO 21448 等新标准，结合现有标准 EN 50128 和 EN 50129，证明了类似 Grade of Automation (GoA) 4 的货运自动列车系统确实可以被认证。此外，通过传感器 / 感知器融合，进行了系统级危险率的定量分析，以满足可接受的安全完整性等级（SIL-3）。对 CNN 模型进行了数学分析，从中识别出分类集群和等价类，划分了 CNN 的图像输入空间。利用这些集群和类别，介绍了一种新的统计测试方法，用于确定经过训练的 CNN 的剩余误差概率及其相关的上限置信度。我们认为，考虑到 CNN 模型的内部结构，这种灰箱方法对于证明统计测试全面覆盖了训练过的 CNN 及其神经元和层间映射是至关重要的。

    Dec, 2023

  • 具有不确定节点特征和不确定图结构的图卷积网络的形式验证

    该研究论文研究并解决了在安全关键环境中验证神经网络的稳健性和不确定性中的计算依赖关系问题，并使用（矩阵）多项式范围体进行可达性分析验证了其方法在三个流行基准数据集上的有效性。

    Apr, 2024

  • 具分布鲁棒性的不精确神经网络统计验证

    为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法，其中的核心是一种称为不精确神经网络的集成技术，它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估，证明了我们的方法可以为高维系统提供有用且可扩展的保证。

    Aug, 2023

  • 基于视觉的自主系统的闭环分析：以案例为例

    本文应用正式的概率分析技术对一种通过感知深度神经网络（DNN）引导飞机滑行的实验自主系统进行了案例研究，通过使用代表性图像数据集计算 DNN 的混淆矩阵来替换摄像机和网络，构建紧凑的概率抽象，以解决感知 DNN、传感器和环境条件的复杂性所带来的挑战，并展示了如何利用本地、DNN 特定的分析作为运行时保护，以提高整个系统的安全性。

    Feb, 2023