Aug, 2023

仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

PDF
TL;DR通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。
发现论文，激发创造
  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 安全关键任务的可靠神经网络

    本文提出了一种机器学习可靠性指标，可以评估神经网络在不同的操作条件下的成功概率，并通过设计安全功能来减少有害失效，同时在维持高成功概率的前提下，在机器人操纵任务中进行了实际应用测试。

    Dec, 2019

  • 评估人工智能中预测可靠性以建立信任 —— 以多发性硬化为案例研究

    应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估 ML 预测可靠性的方法，该方法旨在通过检测 ML 失败来提供对临床决策的决策支持，并开发了一个名为 relAI 的 Python 包来嵌入可靠性度量到 ML 流程中。

    Feb, 2024

  • 面向拓扑的端到端电力系统可靠性评估机器学习

    本研究探讨使用端到端机器学习直接预测可靠性指标，提出了基于输入特征的系统阻抗矩阵编码的机器学习流程，通过对输电线路的定期维护对特定拓扑变化的影响进行考虑，使用支持向量机和 Boosting Trees 进行训练和比较，实验证明了该方法在可靠性评估中的适用性。

    May, 2022

  • 科学和深度学习中的可靠性与解释性

    通过深入的认识深度神经网络模型与传统科学模型之间的差异以及对可靠性评估可能产生的影响，本文强调了模型的假设的普遍作用和认识复杂性与可解释性之间的紧密关系，并提出了一些潜在的解决途径。

    Jan, 2024

  • 自主驾驶中的深度学习加速器循环可靠性评估

    本文提出了一个 DLA-in-loop 可靠性评估平台，用于解决自动驾驶中深度学习加速器（DLAs）可靠性评估中高级度量与底层度量不一致的问题。

    Jun, 2023

  • 基于回归的机器学习算法的非分布风险评估

    机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

    Oct, 2023

  • 保持距离：机器学习监控中的采样和距离阈值确定

    本研究提出一种基于统计测试的距离度量方式，以实现对机器学习 (ML) 组件运行情况的监控，从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案，并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。

    Jul, 2022

  • 监控机器学习模型：在线检测相关偏差

    该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。

    Sep, 2023

  • 面向基于机器学习的分布式系统的认证

    本文分析了目前认证方案存在的挑战和不足，讨论了开放的研究问题，并针对基于机器学习的分布式系统提出了第一个认证方案。

    May, 2023