利用深度神经网络的关键系统安全框架
基于深度学习的认证在安全关键应用中是一个非常重要的问题,本文通过研究使用于航空等安全关键领域的实际问题,调查机器学习研究社区中针对深度学习系统鲁棒性和可靠性验证的方法学,并提出了一个新的基于安全设计和运行时错误检测的深度学习认证框架。
Mar, 2024
提出了一种满足安全性和实时性约束,利用贝叶斯模型学习和随机 CLFs、CBFs 控制框架的深度神经网络模型不确定性学习的方法,并在高速行进的火星车任务中进行了演示。
Oct, 2019
本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题,针对其可靠性和安全性的担忧,提出了采用形式化验证来保证其运行符合预期,并通过两个方向,即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。
Jan, 2018
本文回顾了关于深度神经网络在安全关键系统中验证和验证方面的现有技术,并建议飞行器到汽车的知识转移和系统级的安全方法,例如安全笼架架构和模拟的系统测试案例。
Dec, 2018
通过扩展现有认证标准中必不可少的可理解性、正确性和有效性等概念,我们提出了一种设计可靠人工神经网络(ANN)的方法论,并将其应用于一个具体的案例研究中,设计了一个高速公路 ANN 基础运动预测器,以确保安全特性,例如如果其右侧有其他车辆,则无法建议自车向右车道移动。
Sep, 2017
本文应用正式的概率分析技术对一种通过感知深度神经网络(DNN)引导飞机滑行的实验自主系统进行了案例研究,通过使用代表性图像数据集计算 DNN 的混淆矩阵来替换摄像机和网络,构建紧凑的概率抽象,以解决感知 DNN、传感器和环境条件的复杂性所带来的挑战,并展示了如何利用本地、DNN 特定的分析作为运行时保护,以提高整个系统的安全性。
Feb, 2023
本文提出了一种机器学习可靠性指标,可以评估神经网络在不同的操作条件下的成功概率,并通过设计安全功能来减少有害失效,同时在维持高成功概率的前提下,在机器人操纵任务中进行了实际应用测试。
Dec, 2019
本文提出了一种有效的方法来严格检查神经网络的不同安全属性,可以检查不同的安全属性并找到具体的反例,比现有方法的性能提高了数个数量级,这种方法也有助于提高神经网络的可解释性并指导训练更加稳健的神经网络。
Sep, 2018
本研究提出一种基于 Satisfiability Modulo Theory (SMT) 的新型自动化验证框架,旨在保证深度神经网络对于图像操作的安全性,能够发现对于给定操作范围和家族,对抗性样本是否存在,同时比较现有的相关技术。
Oct, 2016
部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战,该研究论文总结了一项 (四年级) 博士论文工作,该工作探索了深度学习中可扩展和高效的方法,包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案,包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率,从而增加了神经网络实现的可靠性和鲁棒性。
Jan, 2024