Jun, 2023

机器学习软件系统中的质量问题

PDF
TL;DR本文旨在从实践者的角度研究机器学习软件系统中的质量问题，通过一系列采访和调研，我们创建了一个包含 18 个质量问题和 24 个解决策略的目录，这将有助于开发高效的质量保证工具。
machine learningquality assurancemlssscatalogstrategies
发现论文，激发创造
  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020

  • MLOps 环境下的质量保证：工业视角

    本研究为了解决工业生产系统中机器学习模型的质量检验问题，提出了基于模块化策略的数据完整性及数据质量的质量保证方法，并以工业合作案例为支撑，还提出了未来研究的几个挑战。

    Nov, 2022

  • 评估机器学习系统质量的指南

    本文根据工业实例构建了一种基于机器学习系统的质量模型，使从业者能够客观地规定和评估此类机器学习系统的质量要求。

    Aug, 2020

  • AI 工程师的软件质量是什么？走向迷雾的消解

    研究调查了 10 家奥地利中小型企业在开发人工智能 / 机器学习组件和代码时采用的软件质量保证策略，发现质量问题在何时出现并如何检测，同时识别了 12 个开发 AI/ML 组件时存在的问题，为未来 AI/ML 组件的软件质量保证流程提供指导。

    Mar, 2022

  • 开源机器学习项目中实际缺陷的比较分析 -- 一篇注册报告

    研究了机器学习系统和传统软件系统之间的问题报告需求和解决过程的差异，并通过 GitHub 上的应用机器学习项目中的真实问题报告，探究了机器学习问题和非机器学习问题的解决时间和代码修改量等方面的差异。

    Sep, 2022

  • 机器学习系统的最佳实践：分析和优化的工业框架

    该研究论文提出了一个用于分析机器学习系统中软件工程最佳实践集的质量影响和优先级的框架，并介绍了适用于 ML 系统的分层软件质量模型 (SQM)。通过应用集函数优化技术，可以回答哪些实践集可以最大程度地增加 SQM 覆盖范围，哪些是最重要的，应该实施哪些实践以改善特定的质量方面。

    Jun, 2023

  • 应用机器学习分析软件质量测试

    本文利用机器学习对可用数据进行了操作并计算出了累计软件故障程度。应用机器学习预测软件的残余缺陷，以准确预测软件故障是本文的总体目标。

    May, 2023

  • 机器学习软件测试

    讨论机器学习的软件测试以确保其正确性和可靠性，尤其是在安全关键应用中存在欺骗和错误等挑战，探讨六个关键挑战领域及其局限，提出继续研究方向。

    Apr, 2022

  • 基于机器学习系统中的缺陷特征化

    在这篇论文中，我们调查了 ML-based 软件系统中的 bug 特征以及与非 ML bug 相比的维护视角的差异，我们提取了使用 TensorFlow、Keras 和 PyTorch 这三种最流行的 ML 框架的 447,948 个 GitHub 存储库，然后通过多次过滤选择了具有最多已关闭问题的前 300 个存储库，并通过对 386 个抽样报告的问题进行手动检查，我们的研究发现，近一半的 ML-based 系统中报告的真实问题是 ML bug，表明与非 ML 组件相比，ML 组件更容易出错，因此在 ML-based 系统中，关注 ML 组件的可靠性非常重要。

    Jul, 2023

  • 循着最佳实践指引的机器学习

    本文旨在通过分析机器学习在软件工程中的最佳实践，填补现有文献不足的空缺，并针对机器学习应用所面临的挑战和开发过程，提出一系列以软件工程视角为基础的建议。

    Apr, 2023