提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

DeepCheck 是一种基于程序分析中的符号执行核心思想的新方法，可将 DNN 翻译为一个命令式程序，并在图像分类的上下文中应用，以解决 DNN 分析中的两个有挑战性的问题：1）识别重要像素（用于属性和对抗生成）；2）创建 1 像素和 2 像素攻击，并通过 MNIST 数据集的实验结果显示，DeepCheck 的符号执行方法为 DNN 验证提供了有价值的工具。

Jul, 2018

对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

Feb, 2019

本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

Jun, 2018

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

Jun, 2019

通过实证研究 100 个 DNN 模型和 25 种指标，发现 DNN 的测试覆盖率与鲁棒性之间的相关性有限，即提高测试覆盖率并不能帮助提高鲁棒性。这个研究提出的数据集和实现也可以作为测试 DNN 的基准。

Nov, 2019

通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

Mar, 2024

本文介绍了 DeepTest，一个系统的测试工具，可以自动侦测潜在的导致致命碰撞的深度学习驱动车辆的错误行为，通过生成最大化激活神经元数量的测试输入，并利用现实世界变化的驾驶条件（例如雨、雾、照明条件等）来自动生成测试用例，能够发现许多在 Udacity 自动驾驶汽车挑战赛中，三个表现最佳的深度学习神经网络车中，具有潜在致命意外的错误行为。

Aug, 2017

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024