Jul, 2022

保持距离：机器学习监控中的采样和距离阈值确定

PDF
TL;DR本研究提出一种基于统计测试的距离度量方式，以实现对机器学习 (ML) 组件运行情况的监控，从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案，并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。
发现论文，激发创造
  • 范围合规性不确定性评估

    该研究论文提出了 SafeML 这一模型无关的方法，用于监控在自动驾驶等环境中运行的机器学习模型的安全性和可靠性，通过引入基于经验特征函数 (ECF) 的新距离度量方法，消除了二元决策的限制和数据分布假设的依赖，并提高了计算速度。

    Dec, 2023

  • SafeML：通过统计差异度量对机器学习分类器进行安全监控

    本文提出了基于 ECDF 距离度量的主动监测方法，用于监测 ML 系统的行为和操作环境，应用于数据分布漂移检测，研究表明该方法可用于检测 ML 组件的应用环境是否符合安全性要求。

    May, 2020

  • 学习机器学习组件的运行时安全监控

    通过使用退化数据集和机器学习，本文介绍了一个用于为机器学习组件创建安全监视器的过程，该安全监视器与自主系统并行部署，以提供模型输出的安全风险预测。我们通过使用公开可用的速度标志数据集进行一些初步实验，证明了我们方法的可行性。

    Jun, 2024

  • 机器学习安全监控的统一评估

    本文介绍了三种统一的基于安全性的指标，用于衡量机器学习在关键自治系统中应用的安全性，包括安全收益、剩余安全缺陷和对系统性能带来的负面影响，并以分类、无人机着陆和自动驾驶三个用例进行了实验验证。

    Aug, 2022

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 何时接受自动预测，何时退而让人类判断？

    确保自动决策的可靠性和安全性至关重要。本文提出了一种衡量分布位移下预测可靠性的新方法，通过聚类分析训练的神经网络输出的变化来衡量输出与类别中心之间的距离，并将该距离作为评估预测置信度的度量。在 MNIST 和 CIFAR-10 数据集上使用卷积神经网络和 Vision Transformer 进行评估，结果表明该方法在这些数据集和网络模型上是一致的，且所提出的度量方法能有效判断在分布位移下何时自动预测是可接受的以及何时应该交由人工操作员处理。

    Jul, 2024

  • 使用时间度量预测的学习性组件系统安全监控

    基于概率时序预测的安全监测方法在学习增强型自主系统中起到关键作用，通过深度学习模型，特别是 Temporal Fusion Transformer 模型，可以有效地预测飞行安全违规事件，保证系统在操作过程中的安全性。

    May, 2024

  • ML Health: 为生产模型提供的健身追踪

    ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法，并将该方法应用于一种实现了全生产生命周期的系统中，来自动化追踪并生成进一步调查的警报。

    Feb, 2019

  • 基于统计距离度量的机器学习预测可靠性和鲁棒性评估 ——StaDRe 和 StaDRo

    本研究探讨了基于 Empirical Cumulative Distribution Function（ECDF）的距离度量方法，以测量时间序列数据中的 ML - 预测方法的可靠性和鲁棒性估计，提出了 SDD-based 可靠性估计（StaDRe）和 SDD-based 鲁棒性估计（StaDRo）措施，并可提供数据集 SDD 与 ML 模型的关键绩效指标之间的联系。

    Jun, 2022

  • 机器学习安全中尚未解决的问题

    通过提出四个安全性问题：鲁棒性、监控风险、降低内在模型风险和降低系统风险，本篇研究为机器学习的安全性提供了新的技术路线和解决方案。

    Sep, 2021