Dec, 2023

数据科学家的保证论证操作化：在机器学习测试数据质量方面的概念和工具展示

PDF
TL;DR我们提出了一个基于 Python 和 Jupyter Notebook 技术的框架，以支持机器学习组件中的 ACs 的实施，旨在使 ACs 中关于测试数据质量的相关证明过程更加有效。
发现论文，激发创造
  • 将测试和与操作相关的定量证据集成到保证案例中，以论证数据驱动的 AI/ML 组件的安全性

    本文提出了将 AI 组件纳入保证案例的更全面的证明结构，以显示其已实现定量目标的能力，包括测试结果、运行时方面、范围符合性和测试数据质量的数量化考虑和讨论.

    Feb, 2022

  • ECS -- 一种用于数据质量保证的交互式工具

    通过该论文，我们提出了一种保证数据质量的新方法，其中首先讨论了数学基础，并使用多个示例来展示该方法，从而检测出在安全关键系统中使用可能存在有害属性的数据点。

    Jul, 2023

  • 针对学习型医疗智能物理系统开展安全保障案例的探索

    本文提供了一个机器学习（ML）控制器在学习式医疗物理系统（MCPS）中的安全保障方案，特别是在建立对基于 ML 的预测的信心方面，以胰岛素泵系统（APS）为代表的具体应用为例，通过实现深度神经网络用于 APS 预测，检查 ML 数据的充分性并使用形式化验证分析 ML 预测的正确性，最后概述此方案基于经验开放的研究问题。

    Nov, 2022

  • 使用质量属性场景进行机器学习模型测试用例生成

    通过质量属性场景提供的方法，可支持机器学习模型进行测试，以便超越性能测试，早期发现开发过程中的失败情况。

    Jun, 2024

  • MLOps 环境下的质量保证：工业视角

    本研究为了解决工业生产系统中机器学习模型的质量检验问题，提出了基于模块化策略的数据完整性及数据质量的质量保证方法，并以工业合作案例为支撑，还提出了未来研究的几个挑战。

    Nov, 2022

  • 面向 CRISP-ML (Q) 的机器学习过程模型和质量保证方法论

    我们提出了一个适用于机器学习应用程序的过程模型，该模型涵盖从定义范围到维护部署的机器学习应用程序的六个阶段，其中每个阶段都包括适合解决风险挑战的质量保障方法，是一个具有普适性和稳定性的质量保障技术任务的行业和应用程序中性过程模型，该模型扩展了数据挖掘过程模型 CRISP-DM，但缺乏解决机器学习特定任务的能力。

    Mar, 2020

  • ALT-MAS: 一种用于机器学习算法主动测试的数据高效框架

    本论文介绍了一种基于贝叶斯神经网络的框架，可通过只使用少量标记测试数据有效地测试机器学习模型的正确性，该框架利用数据扩充方法训练 BNN 以实现高精度，同时采用理论信息为基础的采样策略来采样数据点以实现准确的度量估计，并通过实验表明我们的方法比现有基准显着地提高了指标估计的准确性。

    Apr, 2021

  • 分类器数据质量：一种基于几何复杂度的自动基线和见解生成方法

    该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。

    Dec, 2021

  • QI2 数据质量保证的交互式工具

    高数据质量的重要性随着机器学习系统和大数据的影响和分布而增加。欧洲委员会提出的计划的 AI 法案特别针对与安全相关的机器学习系统的市场引入，定义了具有挑战性的数据质量法律要求。本文介绍了一种新的方法，支持多种数据质量方面的数据质量保证过程。该方法可以验证定量数据质量要求。通过小的示例数据集介绍和解释了该概念和好处。通过对著名的 MNIST 数据集进行基于手写数字的应用演示了该方法的应用。

    Jul, 2023

  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020