Oct, 2016

深度神经网络的安全验证

PDF
TL;DR本研究提出一种基于 Satisfiability Modulo Theory (SMT) 的新型自动化验证框架，旨在保证深度神经网络对于图像操作的安全性，能够发现对于给定操作范围和家族，对抗性样本是否存在，同时比较现有的相关技术。
deep neural networksadversarial perturbationsautomated verification frameworksafetyinvariance
发现论文，激发创造
  • 神经网络的自动修复

    提出了一种通过使用 SMT 求解器修复有关安全规范的不安全神经网络，以防止对抗攻击，并且通过修改少量的权重值来寻找新的安全神经网络表示，从而最大限度地保持决策边界相似性，同时保证只有轻微的准确度损失，证明了该方法的实用性。

    Jul, 2022

  • DeepSafe: 基于数据驱动的神经网络对抗鲁棒性检测方法

    本文提出了一种利用聚类方法自动识别神经网络输入空间安全区域的方法，并借助验证技术来确认这些区域是否安全或提供不安全的反例，并引入了目标鲁棒性的概念，以确保神经网络不会将任何输入映射到目标标签，利用 MNIST 数据集以及控制下一代无人机避撞系统的神经网络实施的空中碰撞预防系统（ACAS Xu）进行验证。

    Oct, 2017

  • 深度神经网络验证的递增式理论可满足性

    本文提出基于增量可满足性模理论算法（SMT）的 Reluplex 框架的增量深度神经网络验证问题和算法，实现了一个称为 DeepInc 的增量求解器。该算法在大多数情况下都比传统算法更高效，并且还提出了一种多目标 DNN 修复问题和算法。

    Feb, 2023

  • 深度神经网络特征引导的黑箱安全测试

    本研究提出一种基于特征导引的黑盒攻击方法，可以应用于深度神经网络的安全测试，无需深入的网络知识，在人类视觉系统指导下对像素分布进行检测，并利用蒙特卡罗树搜索逐步探索游戏状态空间以寻找对抗性样本，当前方法在安全关键应用如自动驾驶车辆中的交通标志识别中具有广泛的应用前景。

    Oct, 2017

  • 神经网络的有效形式安全分析

    本文提出了一种有效的方法来严格检查神经网络的不同安全属性，可以检查不同的安全属性并找到具体的反例，比现有方法的性能提高了数个数量级，这种方法也有助于提高神经网络的可解释性并指导训练更加稳健的神经网络。

    Sep, 2018

  • 面向安全关键深度神经网络的可扩展验证

    本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题，针对其可靠性和安全性的担忧，提出了采用形式化验证来保证其运行符合预期，并通过两个方向，即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。

    Jan, 2018

  • 验证友好的深度神经网络

    提出了一种生成可验证的神经网络（VNNs）的新框架，该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡，使得生成的网络在预测性能方面与原始网络相当，并且可以进行验证，以更加高效地建立 VNNs 的强大性。

    Dec, 2023

  • 深度神经网络的神经符号验证

    文章介绍了一种基于神经网络和逻辑规范的神经符号验证框架 Neuro-symbolic Verification，使得现有的神经网络验证基础设施可用于分析复杂的实际特性，从而避免现有神经网络验证技术的严重局限。

    Mar, 2022

  • 利用二次约束和半定规划进行神经网络的安全验证和鲁棒性分析

    通过半定规划的框架来解决对于神经网络在输入不确定性和对抗攻击下的安全性和强鲁棒性认证的问题，通过抽象出激活函数的各种性质，分析其安全性质，解决了保守性和计算效率的平衡问题，并且可以应用于安全认证以外的问题。

    Mar, 2019

  • 利用深度神经网络的关键系统安全框架

    本文提出了一个基于贝叶斯分析的安全性论据框架，该框架使用运行数据和最新的深度学习验证技术，支持多种形式的预测，并针对实际的关键系统进行了建模和验证。

    Mar, 2020