评估机器学习系统质量的指南
本文旨在从实践者的角度研究机器学习软件系统中的质量问题,通过一系列采访和调研,我们创建了一个包含 18 个质量问题和 24 个解决策略的目录,这将有助于开发高效的质量保证工具。
Jun, 2023
本文利用一种质量模型,对一个深度学习平台进行实际案例的研究,以野花监测为例,提出了三种跟该平台相关的现实情景,通过分析数据,模型和软件,提出质量要求,最终目的是为 AI 工程师提供可信任的 AI 系统的最佳实践。
Mar, 2023
通过系统评估医学数据集合,我们提出了 METRIC 框架,该框架包含了 15 个数据质量意识维度,帮助减少偏见、增加稳健性、提高可解释性,从而为医学中可信赖的人工智能奠定了基础。
Feb, 2024
本研究为了解决工业生产系统中机器学习模型的质量检验问题,提出了基于模块化策略的数据完整性及数据质量的质量保证方法,并以工业合作案例为支撑,还提出了未来研究的几个挑战。
Nov, 2022
该研究论文提出了一个用于分析机器学习系统中软件工程最佳实践集的质量影响和优先级的框架,并介绍了适用于 ML 系统的分层软件质量模型 (SQM)。通过应用集函数优化技术,可以回答哪些实践集可以最大程度地增加 SQM 覆盖范围,哪些是最重要的,应该实施哪些实践以改善特定的质量方面。
Jun, 2023
该研究提出了一个综合评估机器学习系统可靠性的方法,侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题,并对 500 多个模型进行了分析,为未来的研究和发展提供了指导。
Jul, 2023
我们提出了一个适用于机器学习应用程序的过程模型,该模型涵盖从定义范围到维护部署的机器学习应用程序的六个阶段,其中每个阶段都包括适合解决风险挑战的质量保障方法,是一个具有普适性和稳定性的质量保障技术任务的行业和应用程序中性过程模型,该模型扩展了数据挖掘过程模型 CRISP-DM,但缺乏解决机器学习特定任务的能力。
Mar, 2020