Aug, 2023

具分布鲁棒性的不精确神经网络统计验证

PDF
TL;DR为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法，其中的核心是一种称为不精确神经网络的集成技术，它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估，证明了我们的方法可以为高维系统提供有用且可扩展的保证。
发现论文，激发创造
  • 可扩展验证的深度二元强化学习

    使用二值化神经网络 (BNNs) 的强化学习算法以提高可验证性的方法，解决了神经网络在安全关键场合应用上不可靠的问题。在训练 Atari 环境中的 BNNs 之后，我们验证了其鲁棒性属性。

    Mar, 2022

  • 深度神经网络控制系统的定性与定量安全验证统一

    通过定性和定量安全性验证问题的综合合成有效的神经屏障证书，本文提出了一种用于 DNN 控制系统的新型框架，并通过 $ extsf {UniQQ}$ 工具在四个经典 DNN 控制系统上展示了其有效性。

    Apr, 2024

  • 基于学习的具有神经网络策略的随机动力系统的验证

    我们考虑在随机动力系统中验证神经网络策略以达到避碰控制任务，并使用一个证明该策略满足任务的神经网络作为证书的验证过程。我们对验证神经网络是 RASM 的算法方法进行了显著加速，并通过通过加权范数计算神经网络的 Lipschitz 常数的新颖且快速的方法以及集成了高效的局部细化方案来实现比现有方法更粗的离散化。我们对多个基准测试和使用不同强化学习算法训练的神经网络策略进行了实证评估，结果表明我们的方法在验证神经网络策略方面是有效的。

    Jun, 2024

  • 使用分支界限法对神经网络进行概率验证

    用具有适当启发式条件的一组算法基于神经网络的输出分布来验证其概率，同时计算和迭代优化神经网络输出概率的下界和上界，并通过应用非概率性神经网络验证中的最先进的边界传播和分支约束技术，显著提高了解决时间。

    May, 2024

  • 验证友好的深度神经网络

    提出了一种生成可验证的神经网络（VNNs）的新框架，该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡，使得生成的网络在预测性能方面与原始网络相当，并且可以进行验证，以更加高效地建立 VNNs 的强大性。

    Dec, 2023

  • 面向安全关键深度神经网络的可扩展验证

    本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题，针对其可靠性和安全性的担忧，提出了采用形式化验证来保证其运行符合预期，并通过两个方向，即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。

    Jan, 2018

  • 深度学习中可验证准确性、鲁棒性和泛化的边界

    通过评估理论限制，我们研究了神经网络在分类任务中确定稳定性和准确性的保证限制。我们考虑经典的分布无关框架和最小化经验风险的算法，同时受到一些权重正则化的约束。我们展示了一个庞大的任务集，对于这些任务，在给定的神经结构类中计算和验证理想的稳定和准确的神经网络是极其具有挑战性的，即使在这样的理想解在给定的神经结构类中是可行的。

    Sep, 2023

  • 具有模型不确定性估计的安全强化学习

    使用 MC-Dropout 和 Bootstrapping 方法来提高安全驾驶机器人的模型稳定性，实现在未知数据情况下的碰撞回避。

    Oct, 2018

  • 神经网络的鲁棒性：一种概率和实用的方法

    本文提出了一种概率健壮性的概念，并介绍了一个基于抽象解释和重要性采样的算法，以检查神经网络是否具有概率健壮性。

    Feb, 2019

  • 面向实际分布偏移的认证鲁棒性

    本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

    Jun, 2022