Feb, 2024

评估人工智能中预测可靠性以建立信任 —— 以多发性硬化为案例研究

PDF
TL;DR应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估 ML 预测可靠性的方法，该方法旨在通过检测 ML 失败来提供对临床决策的决策支持，并开发了一个名为 relAI 的 Python 包来嵌入可靠性度量到 ML 流程中。
artificial intelligencemachine learningsafety measuresml predictive reliabilityreliability measures
发现论文，激发创造
  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 何时接受自动预测，何时退而让人类判断？

    确保自动决策的可靠性和安全性至关重要。本文提出了一种衡量分布位移下预测可靠性的新方法，通过聚类分析训练的神经网络输出的变化来衡量输出与类别中心之间的距离，并将该距离作为评估预测置信度的度量。在 MNIST 和 CIFAR-10 数据集上使用卷积神经网络和 Vision Transformer 进行评估，结果表明该方法在这些数据集和网络模型上是一致的，且所提出的度量方法能有效判断在分布位移下何时自动预测是可接受的以及何时应该交由人工操作员处理。

    Jul, 2024

  • 构建可靠的深度学习系统

    介绍了人工智能技术的广泛应用和存在的问题，并提出了对 “AI 工程” 学科的需求，探讨了相关概念和需要解决的关键挑战。

    Oct, 2019

  • 收集，测量，重复：负责任人工智能数据收集的可靠性因素

    在这篇论文中，我们提出了一种负责任的人工智能（RAI）方法，旨在通过一套指标对数据进行迭代深入分析，从而引导数据收集并影响应用于现实世界中多样用户和内容的人工智能的数据鲁棒性评估。

    Aug, 2023

  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020

  • 培养人工智能和机器学习的信任并量化价值

    人工智能和机器学习提供商有责任开发有效可靠的系统。这篇论文探讨了处理机器学习的结果与用户信任之间的动态以及提出了度量系统可靠性的框架和指标。

    Jul, 2024

  • 可信人工智能指南 -- AI 评估目录

    人工智能（AI）在最近几年取得了显著进展，对经济和社会产生了重大影响。然而，仅当 AI 应用根据高质量标准开发并有效地防范新的 AI 风险时，AI 和基于其的商业模式才能充分发挥其潜力。此论文致力于解决 AI 应用可信度的问题，通过提供一个可信 AI 评估目录，旨在帮助开发人员和审计员以结构化的方式评估 AI 应用程序的可信度。

    Jun, 2023

  • 安全关键任务的可靠神经网络

    本文提出了一种机器学习可靠性指标，可以评估神经网络在不同的操作条件下的成功概率，并通过设计安全功能来减少有害失效，同时在维持高成功概率的前提下，在机器人操纵任务中进行了实际应用测试。

    Dec, 2019

  • 评估可信 AI 医学数据质量的 METRIC 框架：一项系统综述

    通过系统评估医学数据集合，我们提出了 METRIC 框架，该框架包含了 15 个数据质量意识维度，帮助减少偏见、增加稳健性、提高可解释性，从而为医学中可信赖的人工智能奠定了基础。

    Feb, 2024