深度学习系统的组合测试

Jun, 2018

Combinatorial Testing for Deep Learning Systems

Lei Ma, Fuyuan Zhang, Minhui Xue, Bo Li, Yang Liu...

TL;DR本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

Abstract

deep learning (DL) has achieved remarkable progress over the past decade and been widely applied to many safety-critical applications. However, the robustness of DL systems recently receives great concerns, such

deep learning robustness testing techniques combinatorial testing vulnerabilities

发现论文，激发创造

DeepCruiser: 面向有状态深度学习系统的自动化导向测试

该论文介绍了一种用于测试循环神经网络的测试框架，并在现有语音转文字深度学习系统上进行了测试，以提高循环神经网络系统的质量和可靠性。

Dec, 2018

深度学习的测试改进

对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

Feb, 2019

DeepGauge: 深度学习系统的多粒度测试标准

该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

Mar, 2018

深度学习测试中重新思考多样性

本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

May, 2023

DeepXplore：深度学习系统的自动化白盒测试

本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

May, 2017

深度学习库测试方法概述

深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

Apr, 2024

深度变异：深度学习系统的变异测试

本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

May, 2018

深度神经网络测试

提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

深度神经网络的符号执行测试

本文提出了第一个针对深度神经网络（DNN）的连接符合测试方法，旨在提高测试覆盖率，并在实验证明了该方法在实现高覆盖率和发现对抗性示例方面的有效性。

Apr, 2018

用于组合测试的基准生成器

本文介绍了一个基于其他研究领域的组合问题结构的新型组合测试基准生成器，并使用这些新的基准对 CT 工具进行了广泛的评估，以提供关于在什么情况下使用特定 CT 工具的一些见解。

Dec, 2022