- LTL 模理论的屏蔽综合
近年来,机器学习(ML)模型在各个领域取得了显著的成功,然而这些模型也倾向于表现出不安全的行为,这限制了它们在安全关键系统中的部署。为了解决这个问题,许多研究集中在开发能够保证给定 ML 模型的安全行为的方法。其中一个突出的例子是屏蔽,它包 - 1 范数鲁棒性的凸神经网络综合
通过生成一个确保更稳健的神经网络的近似方法,来解决神经网络的准确性和稳健性之间的权衡关系。该方法是完全凸的,并将其作为半正定规划提出。将其应用于稳健化模型预测控制以验证结果,旨在介绍一种在神经网络准确性和稳健性之间权衡的方法。
- 安全平衡:一种用于约束多目标强化学习的框架
在涉及安全关键系统的众多强化学习问题中,平衡多个目标并同时满足严格的安全约束是一个关键挑战。为解决这个问题,我们提出了一个基于原始的框架,通过多目标学习和约束遵从性之间的策略优化来协调。我们的方法采用了一种新颖的自然策略梯度操作方法,用于优 - 自信驾驶的自动化人工智能控制器:具备不确定性知识的车辆转向
在与真实世界进行接口的安全关键系统中,决策中的不确定性在机器学习模型中起着关键作用。本研究重点研发了一种使用机器学习框架的车辆横向控制系统,特别采用贝叶斯神经网络(BNN)来处理不确定性量化,该能力使我们能够评估模型预测的置信水平或不确定性 - 面向 Evidential 工具总线的 ADS 连续保证案例创建
借助 Evidential Tool Bus(ETB)工具集成框架,本文报道了使用预定义的保证案例模式从事保证案例的构建和持续维护的初步经验,以满足安全关键系统的认证需求。
- 增强强化学习智能体与本地指导
本文研究如何将本地指南政策整合到强化学习代理系统中,提出了基于嘈杂策略切换的算法,并通过适当的近似策略评估方案,将本地指南引导向更好的行动,从而改善强化学习算法在安全关键系统等领域的性能。
- 确定性不确定性量化方法上的判别距离感知表示
该研究介绍了一种名为 Discriminant Distance-Awareness Representation(DDAR)的新颖且高效的确定性不确定性评估方法,通过构建一个在潜在表示中包含一组原型的 DNN 模型来分析输入数据的有价值特 - 基于组合归纳不变式的神经网络控制系统验证
本文介绍了一种针对神经网络控制系统(NNCS)安全验证的新方法,利用归纳不动点方法,并配合自动推断必要的分解谓词的算法,将验证过程从数小时(甚至超时)缩短至几秒钟,在案例研究中显著提高了验证性能。
- 具有闭环保证的自动非线性模型预测控制近似
本文中,我们解决了自动近似带有闭环保证的非线性模型预测控制(MPC)方案的问题。我们提出了 ALKIA-X 算法,它是一种自适应和本地化的核插值算法,可以将此问题简化为函数近似问题,并确保数值计算条件良好、近似函数计算速度快,并保证近似误差 - 评估地面事实解释时要小心
评估图像分类器关于人类感知定义的地面真实标记(例如分割掩模)的解释,主要评估的是考虑中的模型的质量而不是解释方法自身。在这种观察的驱动下,我们提出了一个框架,用于联合评估将深度神经网络与解释方法相结合的安全关键系统的鲁棒性。这些系统在医学图 - 约束线性赌臂问题的凸方法
近年来,与人类不断互动的现实世界安全关键系统中的强盗优化引起了极大关注。本文提出了一个综合性研究,重点研究了安全线性强盗算法的计算方面,通过引入凸规划工具创建了计算效率高的策略。具体而言,我们首先对安全线性强盗问题的最优策略进行了特征化,并 - 可解释的、基于模型的层级安全强化学习框架
该论文提出了一种将深度强化学习与概率建模和决策策略相结合的新方法(BC-SRLA),该方法在安全关键系统中具有优越性能,并且在维护领域的案例研究中展示出了比先前技术和其他基准更好的表现。
- 神经网络软件验证的简化 C 语言基准测试 NeuroCodeBench
该研究论文介绍了一种用于神经网络代码验证的基准测试集 NeuroCodeBench,包含 32 个神经网络和 607 个安全属性,主要研究安全关键系统中的神经网络、验证和软件错误。
- 近似基于模型的安全强化学习护盾
我们提出了近似基于模型的屏蔽算法,用于验证学习强化学习策略相对于给定安全约束的性能,与其他安全感知方法相比,在一组具有状态相关安全标签的 Atari 游戏上表现出卓越的性能。
- 深度神经网络验证的认证证明检查器
本文介绍了一种基于 Imandra 的 DNN 验证证明检查器的新实现,该实现通过使用 Imandra 的两个关键功能:无限精度实数算术和形式化验证基础设施来提高数字稳定性和验证性能,并在实现验证正确性属性和性能优化方面继续开展工作。
- ECS -- 一种用于数据质量保证的交互式工具
通过该论文,我们提出了一种保证数据质量的新方法,其中首先讨论了数学基础,并使用多个示例来展示该方法,从而检测出在安全关键系统中使用可能存在有害属性的数据点。
- 用 GPU 加速的机器学习模型验证在电力系统中的应用
本文介绍了用于检验大规模机器学习模型的计算工具,重点解决了其应用到电力系统问题时出现的困难;作者提出了一种方法可同时验证多个验证问题,并使用双重化程序将线性等式和不等式约束编码到检验问题中。
- 使用策略蒸馏的深度强化学习模型反事实解释框架
该论文提出一种新颖的反事实解释框架,以解释黑盒 DRL 的决策,并在自动驾驶系统和 Atari Pong 游戏领域进行了多项实验。分析表明,所提出的框架为深层 DRL 的各种决策生成了可行且有意义的解释。
- 黑盒系统的贝叶斯安全验证
本文提出了一种基于贝叶斯优化的安全验证算法,它通过迭代地适配概率代理模型来高效预测故障,并通过重要性采样来估计操作域内的故障概率。经实验表明,该算法在减少样本数和各种安全验证指标方面表现良好,并可用于补充机器学习组件的 FAA 认证过程。
- 大型语言模型是否可以辅助危险分析?
本文探讨了将大型语言模型与人类分析师结合,应用于安全关键系统的危险分析中,通过与 OpenAI 的 ChatGPT 服务交互,评估其可行性,结果表明 LLMs 可以支持人类分析师执行危险分析。