研究机器学习软件测试实践

Dec, 2023

Studying the Practices of Testing Machine Learning Software in the Wild

Moses Openja, Foutse Khomh, Armstrong Foundjem, Zhen Ming, Jiang...

TL;DR我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

Abstract

Background: We are witnessing an increasing adoption of machine learning (ML), especially deep learning (DL) algorithms in many software systems, including safety-critical systems such as health care systems or autonomous driving vehicles. Ensuring the →

machine learning software quality testing strategies ml properties ml workflow

发现论文，激发创造

机器学习软件测试

讨论机器学习的软件测试以确保其正确性和可靠性，尤其是在安全关键应用中存在欺骗和错误等挑战，探讨六个关键挑战领域及其局限，提出继续研究方向。

Apr, 2022

机器学习测试：调查、现状与展望

本文综述了 144 篇关于机器学习测试（ML Testing）的研究论文，涵盖了测试属性（如正确性，鲁棒性和公平性）、测试组件（如数据、学习程序和框架）、测试工作流（如测试生成和测试评估）和应用场景（如自动驾驶、机器翻译）。研究还分析了数据集、研究趋势和研究重点的趋势，并得出了 ML 测试中的研究挑战和有前景的研究方向。

Jun, 2019

深度学习库测试方法概述

深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

Apr, 2024

深度变异：深度学习系统的变异测试

本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

May, 2018

机器学习系统的测试和评估最佳实践

机器学习软件系统的测试与评估 (T&E) 是具有挑战性的，需要新的系统测试方法、适应度测量和指标以解决系统整个生命周期中的 T&E 难题。

Oct, 2023

机器学习系统的质量管理

本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

Jun, 2020

循着最佳实践指引的机器学习

本文旨在通过分析机器学习在软件工程中的最佳实践，填补现有文献不足的空缺，并针对机器学习应用所面临的挑战和开发过程，提出一系列以软件工程视角为基础的建议。