Apr, 2024

深度学习库测试方法概述

PDF
TL;DR深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。
deep learning librariesdl systemsbug testingtesting methodsdl technology
发现论文，激发创造
  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 深度学习框架中图书馆使用和依赖的实证研究

    本文研究了深度学习相关软件库的使用情况，以及它们在机器学习工作流程中的依赖关系，并提出了硬件构建者和软件库构建者的一些建议。研究基于 1484 个开源深度学习项目，发现深度学习库的使用趋势正在上升，目前使用最广泛的库组合为 pytorch 和 Scikit-learn，以及 Keras 和 TensorFlow。

    Nov, 2022

  • 深度变异：深度学习系统的变异测试

    本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

    May, 2018

  • PyTorch 内部错误的实证研究：一项复制研究

    通过研究 PyTorch 库的 bug 识别和修复过程，我们发现 PyTorch 的 bug 更像传统软件项目的 bug，而不是与深度学习特性有关的。同时，我们还将结果与对 TensorFlow 的研究进行了比较，突出了在 bug 识别和修复过程中的相似之处和差异之处。

    Jul, 2023

  • 深度学习系统的组合测试

    本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

    Jun, 2018

  • 深度学习测试中重新思考多样性

    本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

    May, 2023

  • 超越准确性：开源深度学习项目中的单元测试的实证研究

    深度学习模型的单元测试对于开源 DL 项目的可靠性至关重要，研究表明，单元测试 DL 项目在开源项目指标上具有积极的相关性和更高的合并请求接受率，但有 68% 的抽样 DL 项目没有进行单元测试。

    Feb, 2024

  • DLLens：通过 LLM 协助综合测试深度学习库

    DLLens 是一种用于 DL 库测试的新型差分测试技术，使用大型语言模型 (LLM) 综合 DL 库 API 的有效对应，并使用静态分析方法辅助生成不同的测试输入，该技术可检测到更多的漏洞和修复。

    Jun, 2024

  • DeepGauge: 深度学习系统的多粒度测试标准

    该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

    Mar, 2018

  • 深度学习系统的安全弱点和漏洞

    通过对 AI 软件系统中深度学习技术的脆弱性进行系统研究，我们提出了一个两流数据分析框架，探索各种数据库中的脆弱性模式，并进行了大规模实证研究来理解脆弱性的模式和修复中的挑战，以推进安全的深度学习系统的发展。

    Jun, 2024