本文提出了一种概率健壮性的概念,并介绍了一个基于抽象解释和重要性采样的算法,以检查神经网络是否具有概率健壮性。
Feb, 2019
本文提出了一种通用的神经网络形式验证框架,通过将验证问题转化为最优化问题,并通过我们提出的松弛算法得到可靠的上界,从而可对神经网络的输入和输出属性满足的规范进行形式化验证。
Mar, 2018
该研究提出了一种概率证明框架 PROVEN,用于验证神经网络在输入加噪时的鲁棒性,可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变,证书是基于现有的神经网络鲁棒性验证框架,该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。
Dec, 2018
本文提出了一种有效的方法来严格检查神经网络的不同安全属性,可以检查不同的安全属性并找到具体的反例,比现有方法的性能提高了数个数量级,这种方法也有助于提高神经网络的可解释性并指导训练更加稳健的神经网络。
Sep, 2018
为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法,其中的核心是一种称为不精确神经网络的集成技术,它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估,证明了我们的方法可以为高维系统提供有用且可扩展的保证。
Aug, 2023
该研究提出了一种定量指标来评估神经网络模型的内在稳健性,并通过损失可视化的方式解释了对抗攻击和防御机制。该指标具有快速生成、结构和参数规模无关、可靠性高的优点,并提供了一种相对于不同测试设置不变的评估方法。
May, 2019
引入了一种基于概率鲁棒性的贝叶斯神经网络(BNNs)的测量方法,定义为在某个有界集合内是否存在另一个点,使得 BNN 的预测在这两个点之间有差异的概率,并且可以用于量化对抗样本的存在概率。通过基于概率模型的统计验证技术,开发了一个框架,可以估计具有统计保证的 BNN 的概率鲁棒性,并在 MNIST 和 GTSRB 数据集的图像分类任务上提供了实验对比。结果可以在对抗环境中量化 BNN 预测的不确定性。
Mar, 2019
为了解决在某些场景下对抗风险无法提供适当的强健度度量的问题,我们开发了一个概率强健风险框架(SRR),它考虑到逐点损坏分布而不是最坏情况下的对手。我们展示了 SRR 的评估和训练方案与自然风险相当简单且高效,能提供优秀的泛化性能,适用于高维数据集。
Dec, 2019
本研究提出了一种通过使用过度逼近来减小神经网络规模,以提高神经网络验证技术的框架,并使用反例引导调整逼近,以验证大型神经网络。实验证明,该方法对验证大型神经网络具有很大的潜力。
Oct, 2019
本文提出了一种用于验证神经网络鲁棒性的新算法 Charon,并通过实验评估其在数百个基准测试中显著优于 AI^2,Reluplex 和 Reluval 等三种最先进的工具。
Apr, 2019