通过使用退化数据集和机器学习,本文介绍了一个用于为机器学习组件创建安全监视器的过程,该安全监视器与自主系统并行部署,以提供模型输出的安全风险预测。我们通过使用公开可用的速度标志数据集进行一些初步实验,证明了我们方法的可行性。
Jun, 2024
基于概率时序预测的安全监测方法在学习增强型自主系统中起到关键作用,通过深度学习模型,特别是 Temporal Fusion Transformer 模型,可以有效地预测飞行安全违规事件,保证系统在操作过程中的安全性。
May, 2024
通过将因果推断和统计过程控制方法结合起来,我们以术后恶心呕吐的风险预测算法为案例研究,定义候选监测标准、描述潜在偏差和因果模型,并具体说明和比较候选监测程序,以此作为发展比较各种监测选项的框架的第一步。
Nov, 2023
本研究提出一种基于统计测试的距离度量方式,以实现对机器学习 (ML) 组件运行情况的监控,从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案,并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。
Jul, 2022
本文提出了基于 ECDF 距离度量的主动监测方法,用于监测 ML 系统的行为和操作环境,应用于数据分布漂移检测,研究表明该方法可用于检测 ML 组件的应用环境是否符合安全性要求。
May, 2020
该研究论文提出了 SafeML 这一模型无关的方法,用于监控在自动驾驶等环境中运行的机器学习模型的安全性和可靠性,通过引入基于经验特征函数 (ECF) 的新距离度量方法,消除了二元决策的限制和数据分布假设的依赖,并提高了计算速度。
Dec, 2023
本文提出了一种基于机器学习监控的紧急着陆方法,采用新的紧急着陆减缓战略来确保无人机在人口密集地区的安全运行,并通过机器学习运行时监控实现了真实环境下的安全评估,该方法相较于传统降落伞项目的应急响应有更高的安全性。
Feb, 2022
任何自主控制器在某些情况下都可能不安全,定量识别这些不安全情况的能力对于及时引起人类监督至关重要。本研究展示了真正危急情况的临界性可以被鲁棒地定义为随机行动导致的奖励减少的平均值。可以将实时计算的代理临界性度量与真正的临界性进行比较,并展示如何利用这些代理度量生成安全裕度,直接将潜在错误行动的后果与整体性能损失联系起来。我们在 Atari 环境中评估了来自 APE-X 和 A3C 的学习策略,并展示了安全裕度随着代理逼近失败状态而减少。将安全裕度整合到监测已部署代理的程序中,可以实时识别潜在的灾难性情况。
Jul, 2023
通过提出四个安全性问题:鲁棒性、监控风险、降低内在模型风险和降低系统风险,本篇研究为机器学习的安全性提供了新的技术路线和解决方案。
Sep, 2021
该研究提出了一个综合评估机器学习系统可靠性的方法,侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题,并对 500 多个模型进行了分析,为未来的研究和发展提供了指导。