深度神经网络控制系统的定性与定量安全验证统一
本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题,针对其可靠性和安全性的担忧,提出了采用形式化验证来保证其运行符合预期,并通过两个方向,即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。
Jan, 2018
为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法,其中的核心是一种称为不精确神经网络的集成技术,它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估,证明了我们的方法可以为高维系统提供有用且可扩展的保证。
Aug, 2023
深度神经网络在安全方面的正式验证问题已经扩展到计数版本 (DNN-Verification),为了在给定安全属性的领域中计算不安全区域的数量。为了解决这个问题的复杂性,本研究提出了一种基于可达性分析、符号线性松弛和并行计算的新策略,以增强现有的精确和近似 DNN 计数的形式验证的效率。在标准的形式验证基准和现实的机器人场景上进行的实证评估表明,在可扩展性和效率方面都取得了显著的改进,使得这种技术能够用于复杂的机器人应用。
Dec, 2023
本文讨论了 Deep Neural Networks 在自动驾驶领域中的应用,提出了一种实时提取不确定性量化度量的方法,并使用此方法预测了潜在的崩溃事件。
Nov, 2018
本文回顾了关于深度神经网络在安全关键系统中验证和验证方面的现有技术,并建议飞行器到汽车的知识转移和系统级的安全方法,例如安全笼架架构和模拟的系统测试案例。
Dec, 2018
使用二值化神经网络 (BNNs) 的强化学习算法以提高可验证性的方法,解决了神经网络在安全关键场合应用上不可靠的问题。在训练 Atari 环境中的 BNNs 之后,我们验证了其鲁棒性属性。
Mar, 2022
提出了一种生成可验证的神经网络(VNNs)的新框架,该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡,使得生成的网络在预测性能方面与原始网络相当,并且可以进行验证,以更加高效地建立 VNNs 的强大性。
Dec, 2023
本文研究如何使用形式化验证技术对增强学习 - enabled 机器学习系统进行验证,以保证其行为安全,并提出了一种基于黑盒方法的综合确定性程序的方法来实现系统验证。
Jul, 2019
本文考虑了使用神经网络控制器的自主机器人的安全性问题。通过构建系统的一个有限状态抽象并使用标准的可达性分析方法,计算出一组安全的初始状态,使得从这些初始状态开始的机器人轨迹能够避开多面体障碍物。
Oct, 2018