本文介绍了三种统一的基于安全性的指标，用于衡量机器学习在关键自治系统中应用的安全性，包括安全收益、剩余安全缺陷和对系统性能带来的负面影响，并以分类、无人机着陆和自动驾驶三个用例进行了实验验证。

Aug, 2022

基于概率时序预测的安全监测方法在学习增强型自主系统中起到关键作用，通过深度学习模型，特别是 Temporal Fusion Transformer 模型，可以有效地预测飞行安全违规事件，保证系统在操作过程中的安全性。

May, 2024

本研究提出一种基于统计测试的距离度量方式，以实现对机器学习 (ML) 组件运行情况的监控，从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案，并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。

Jul, 2022

该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

Sep, 2023

ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法，并将该方法应用于一种实现了全生产生命周期的系统中，来自动化追踪并生成进一步调查的警报。

Feb, 2019

该教程主要关注以机器学习为基础的预测性监测，介绍了一种有效的方法来检测系统在当前状态下对给定要求的潜在违规情况，并提出使用深度学习和符合预测方法来解决计算效率和可靠性的挑战。

Dec, 2023

基于深度学习的认证在安全关键应用中是一个非常重要的问题，本文通过研究使用于航空等安全关键领域的实际问题，调查机器学习研究社区中针对深度学习系统鲁棒性和可靠性验证的方法学，并提出了一个新的基于安全设计和运行时错误检测的深度学习认证框架。

Mar, 2024

该研究论文提出了 SafeML 这一模型无关的方法，用于监控在自动驾驶等环境中运行的机器学习模型的安全性和可靠性，通过引入基于经验特征函数 (ECF) 的新距离度量方法，消除了二元决策的限制和数据分布假设的依赖，并提高了计算速度。

Dec, 2023

本文提出了基于 ECDF 距离度量的主动监测方法，用于监测 ML 系统的行为和操作环境，应用于数据分布漂移检测，研究表明该方法可用于检测 ML 组件的应用环境是否符合安全性要求。

May, 2020

通过将因果推断和统计过程控制方法结合起来，我们以术后恶心呕吐的风险预测算法为案例研究，定义候选监测标准、描述潜在偏差和因果模型，并具体说明和比较候选监测程序，以此作为发展比较各种监测选项的框架的第一步。

Nov, 2023