提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

Feb, 2021

本文介绍了 DeepTest，一个系统的测试工具，可以自动侦测潜在的导致致命碰撞的深度学习驱动车辆的错误行为，通过生成最大化激活神经元数量的测试输入，并利用现实世界变化的驾驶条件（例如雨、雾、照明条件等）来自动生成测试用例，能够发现许多在 Udacity 自动驾驶汽车挑战赛中，三个表现最佳的深度学习神经网络车中，具有潜在致命意外的错误行为。

Aug, 2017

通过实证研究 100 个 DNN 模型和 25 种指标，发现 DNN 的测试覆盖率与鲁棒性之间的相关性有限，即提高测试覆盖率并不能帮助提高鲁棒性。这个研究提出的数据集和实现也可以作为测试 DNN 的基准。

Nov, 2019

通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

Jun, 2019

本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

Jun, 2018

本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

May, 2023

本篇论文介绍了在安全重要应用领域中使用深度神经网络的问题，针对其可靠性和安全性的担忧，提出了采用形式化验证来保证其运行符合预期，并通过两个方向，即设计可扩展性的验证技术和识别可验证的深度学习系统的设计选择来缓解这一挑战。

Jan, 2018

为解决深度神经网络在实际应用中产生错误行为的问题，引入了基于 Shapley 值的可激励神经元概念，设计了一个名为 DeepSensor 的新颖测试框架，通过最大化与各种错误行为相关的可激励神经元数量，生成有效的测试样例，对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验，证明了 DeepSensor 的卓越性能。

Feb, 2022