本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

May, 2017

本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

May, 2018

本文介绍了一种将模糊测试和大型语言模型相结合的新型数据增强技术 **FuzzAug**，用于增强神经测试生成数据集，从而提高代码生成模型的准确性和分支覆盖率，增强自动化软件测试的效用。

Jun, 2024

本研究旨在提出一种新型的 fuzzing 方法，它从程序当前状态信息入手，利用强化学习优化变异算子，以达到更全面的覆盖率，并使程序监视器与深度神经网络相连接，能够同时利用强化学习以及 fuzzing 的优势来优化测试用例。

Jul, 2018

本研究介绍了用于发现神经网络中仅在罕见输入下出现错误的自动化软件测试技术，其中关键技术为基于覆盖率的模糊测试方法，并提出快速近似最近邻居算法来提供覆盖度量，最终开发了 TensorFuzz 开源库以实现这些技术。

Jul, 2018

该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

Mar, 2018

通过使用神经网络学习输入文件中的模式，将以前的 fuzzing 探索的经验用于指导未来的探索，从而实现对程序漏洞发现的改进。

Nov, 2017

在这项研究中，我们提出了 DeepFeature 用于从特征图层面测试深度神经网络。通过大量实验证明：(1) DeepFeature 是检测模型易受攻击特征图的强大工具；(2) DeepFeature 的测试用例选择具有高的错误检测率，能够检测更多类型的错误（与基于覆盖率引导的选择技术相比，错误检测率提高了 49.32%）；(3) DeepFeature 的模糊测试技术也优于当前的模糊测试技术，并且更高效地生成有价值的测试用例。

Jul, 2023

深度神经网络的错误定位工具 deepmufl 在广泛的 DNN 模型中具有较好的有效性，并且可以在一半的错误定位时间内定位到高达 53/109 的错误位置，相比于静态和动态 DNN 错误定位系统具有更优的性能。

Sep, 2023

创建弹性机器学习系统对于确保生产就绪的机器学习系统并顺利获取用户信任已成为必要。输入数据和模型的质量对数据敏感系统的端到端测试成功具有高度影响。然而，与模型测试相比，输入数据的测试方法缺乏系统性且较少。为了填补这一空白，本文提出了一种基于故障注入技术的输入数据故障注入测试框架（FIUL-Data），该框架测试机器学习模型对多种故意引发的数据故障的弹性。数据变异器探索机器学习系统的脆弱性，针对不同故障注入效果。提出的框架基于三个主要想法设计：变异器不是随机的；在某个时刻应用一个数据变异器；事先优化选定的机器学习模型。本文使用来自分析化学的数据进行了 FIUL-Data 框架的实证评估，包括反义寡核苷酸保留时间测量。经验评估分为两个步骤进行，首先分析选定机器学习模型对数据变异的响应，然后对比彼此。结果显示 FIUL-Data 框架允许评估机器学习模型的弹性。在大多数实验情况下，较大的训练数据集上，机器学习模型表现出更高的弹性，在较小的训练集中梯度提升方法优于支持向量回归。总体而言，均方误差指标在评估模型弹性方面具有较高的敏感性。

Sep, 2023