MLTE 框架是一种机器学习模型和系统评估的方法,通过将现有的评估技术编译成团队间的组织过程,支持跨学科团队对模型进行测试和评估,为团队提供领域特定语言、评估指标收集系统和交互功能。
Mar, 2023
本文提出了一个基于现有进展的全面质量管理框架视角,并确定了软件工程研究的新领域,以实现更可靠的人工智能。
Jun, 2020
本文根据工业实例构建了一种基于机器学习系统的质量模型,使从业者能够客观地规定和评估此类机器学习系统的质量要求。
Aug, 2020
本研究为了解决工业生产系统中机器学习模型的质量检验问题,提出了基于模块化策略的数据完整性及数据质量的质量保证方法,并以工业合作案例为支撑,还提出了未来研究的几个挑战。
Nov, 2022
本文旨在从实践者的角度研究机器学习软件系统中的质量问题,通过一系列采访和调研,我们创建了一个包含 18 个质量问题和 24 个解决策略的目录,这将有助于开发高效的质量保证工具。
Jun, 2023
机器学习软件系统的测试与评估 (T&E) 是具有挑战性的,需要新的系统测试方法、适应度测量和指标以解决系统整个生命周期中的 T&E 难题。
Oct, 2023
我们进行了第一项细致入微的实证研究,以填补现有研究中对机器学习软件测试实践的知识空白,从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。
Dec, 2023
本文主张通过指导整体的测试与评估策略的六个关键问题来推动跨领域机器学习测试与评估方法的发展,从而建立人工智能工程学科。
Apr, 2022
本研究对最近在多项选择题回答(MCQA)数据集中取得高分的模型进行扰动实验,发现其表现不符合语言理解的人类期望,提出了一种新的训练方法,使模型更好地学习输入数据并使模型性能更好。
Nov, 2020
我们提出了一个适用于机器学习应用程序的过程模型,该模型涵盖从定义范围到维护部署的机器学习应用程序的六个阶段,其中每个阶段都包括适合解决风险挑战的质量保障方法,是一个具有普适性和稳定性的质量保障技术任务的行业和应用程序中性过程模型,该模型扩展了数据挖掘过程模型 CRISP-DM,但缺乏解决机器学习特定任务的能力。
Mar, 2020