深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

Apr, 2024

我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

Dec, 2023

本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

May, 2018

本文研究了深度学习相关软件库的使用情况，以及它们在机器学习工作流程中的依赖关系，并提出了硬件构建者和软件库构建者的一些建议。研究基于 1484 个开源深度学习项目，发现深度学习库的使用趋势正在上升，目前使用最广泛的库组合为 pytorch 和 Scikit-learn，以及 Keras 和 TensorFlow。

Nov, 2022

本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

May, 2023

该研究对主流深度学习框架和平台在开发和部署中的影响进行了系统研究，结果表明计算差异可能导致项目的预测准确度下降，部署过程仍存在兼容性和可靠性问题，并通过发现的问题总结出实用的指南以及明确新的研究方向。

Sep, 2019

深度学习技术在软件开发过程中的应用，特别是在自动化代码审查、错误预测和测试生成，以提高代码质量和开发效率方面进行了研究。通过一系列的实证研究，比较了使用深度学习工具的实验组和使用传统方法的对照组在代码错误率和项目完成时间方面的差异。结果表明实验组有明显改善，验证了深度学习技术的有效性。研究还讨论了深度学习在软件开发中的潜在优化点、方法论和技术挑战，以及如何将这些技术融入现有的软件开发工作流程。

Apr, 2024

通过利用大量的非结构化软件工程文档，探索深度学习技术如何改善软件开发过程。

Oct, 2023

该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

Mar, 2018

本研究探讨了深度学习错误的可重现性，通过构建数据集、确定可重现性并识别编辑操作和有用信息，最终成功复现了 85 个深度学习错误并提出了十种编辑操作和五种有用信息类别，有效提高了错误的可重现性。

Jan, 2024