机器学习系统的质量管理
研究调查了 10 家奥地利中小型企业在开发人工智能 / 机器学习组件和代码时采用的软件质量保证策略,发现质量问题在何时出现并如何检测,同时识别了 12 个开发 AI/ML 组件时存在的问题,为未来 AI/ML 组件的软件质量保证流程提供指导。
Mar, 2022
本研究为了解决工业生产系统中机器学习模型的质量检验问题,提出了基于模块化策略的数据完整性及数据质量的质量保证方法,并以工业合作案例为支撑,还提出了未来研究的几个挑战。
Nov, 2022
本文介绍了从强健性的角度出发,将维护人工智能(AI)的重要性与汽车保养做类比,提出了一种 AI 模型检查框架以检测和减轻其强健性风险,并通过对车辆自主性的借鉴,定义了强健性自动化的级别,以实现 AI 维护的各项功能,从而实现在 AI 生命周期过程中,进行强健性评估、状态追踪、风险扫描、模型加固和监管,这是构建可持续和值得信赖的 AI 生态系统的重要里程碑。
Jan, 2023
人工智能(AI)在最近几年取得了显著进展,对经济和社会产生了重大影响。然而,仅当 AI 应用根据高质量标准开发并有效地防范新的 AI 风险时,AI 和基于其的商业模式才能充分发挥其潜力。此论文致力于解决 AI 应用可信度的问题,通过提供一个可信 AI 评估目录,旨在帮助开发人员和审计员以结构化的方式评估 AI 应用程序的可信度。
Jun, 2023
机器学习在工业系统中的应用以及其安全性和合规性对于决策辅助等关键功能具有重要意义,然而,当前机器学习组件的低形式化程度和不确定性使得使用传统的关键系统工程方法难以验证和验证其安全性,因此需要制定适用于人工智能的规范和监管标准,提出可信的人工智能认证方法和工具。
Sep, 2023
本文旨在从实践者的角度研究机器学习软件系统中的质量问题,通过一系列采访和调研,我们创建了一个包含 18 个质量问题和 24 个解决策略的目录,这将有助于开发高效的质量保证工具。
Jun, 2023
本文利用一种质量模型,对一个深度学习平台进行实际案例的研究,以野花监测为例,提出了三种跟该平台相关的现实情景,通过分析数据,模型和软件,提出质量要求,最终目的是为 AI 工程师提供可信任的 AI 系统的最佳实践。
Mar, 2023
通过系统评估医学数据集合,我们提出了 METRIC 框架,该框架包含了 15 个数据质量意识维度,帮助减少偏见、增加稳健性、提高可解释性,从而为医学中可信赖的人工智能奠定了基础。
Feb, 2024