深度神经网络在安全方面的正式验证问题已经扩展到计数版本 (DNN-Verification),为了在给定安全属性的领域中计算不安全区域的数量。为了解决这个问题的复杂性,本研究提出了一种基于可达性分析、符号线性松弛和并行计算的新策略,以增强现有的精确和近似 DNN 计数的形式验证的效率。在标准的形式验证基准和现实的机器人场景上进行的实证评估表明,在可扩展性和效率方面都取得了显著的改进,使得这种技术能够用于复杂的机器人应用。
Dec, 2023
该文章提出了一种验证深度概率模型的新框架,在模型输出过程中采样潜在变量并考虑其所需的条件输入,以高概率满足线性约束,并能够有效地验证功能空间中感兴趣的属性(单调性、凸性)
Dec, 2018
为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法,其中的核心是一种称为不精确神经网络的集成技术,它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估,证明了我们的方法可以为高维系统提供有用且可扩展的保证。
Aug, 2023
本文介绍了一种统一的深度学习模型形式验证的框架,利用分段线性结构和形式方法,结合现有方法的优势以实现两个数量级的加速。并提出了一组新的基准数据集,通过实验比较现有算法并确定影响验证问题难度的因素。
Nov, 2017
通过使用满射规范化流方法,在深度神经网络模型中计算单次前向传播,可可靠地识别来自分布之外的数据集。该方法基于深度不确定性量化和正则化流中的最新进展,应用于合成数据集并与其他模型进行比较,表明满射流模型是可靠区分分布内外数据的关键组成部分。
Nov, 2023
本文提出了一种通用的神经网络形式验证框架,通过将验证问题转化为最优化问题,并通过我们提出的松弛算法得到可靠的上界,从而可对神经网络的输入和输出属性满足的规范进行形式化验证。
Mar, 2018
本文提出了一种针对具备分段线性激活函数的前向神经网络进行验证的方法,并使用全局线性逼近对 SMT 求解器和 ILP 求解器进行推理,通过专门设计的验证算法利用推理出的相位信息对网络进行冲突检测和安全节点约束,并在碰撞避免和手写数字识别案例研究中进行了评价。
May, 2017
本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题,针对其可靠性和安全性的担忧,提出了采用形式化验证来保证其运行符合预期,并通过两个方向,即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。
Jan, 2018
本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性,提出了一种基于神经符号学的验证框架,并采用生成模型学习数据扰动,解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题,实验结果表明,该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法,可以有效应对各种严峻的分布转化挑战。
Jun, 2022
本研究提出一种基于 Satisfiability Modulo Theory (SMT) 的新型自动化验证框架,旨在保证深度神经网络对于图像操作的安全性,能够发现对于给定操作范围和家族,对抗性样本是否存在,同时比较现有的相关技术。
Oct, 2016