通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

Feb, 2019

针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

Feb, 2021

提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

基于网络输出的一个稳健假设检验框架，我们提出了一种新的分类模型之间的相似性度量方法，该方法可以适应经过训练模型的其他衍生量。

Oct, 2023

本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

Jan, 2019

我们提出了 DAIC（DNN 评估和改进周期）方法，结合 “低成本” 在线伪预测和 “高成本” 离线抽样技术来估算和提高 DNN 系统的操作准确性，并将它们整合到 DNN 系统的迭代生命周期中。

Mar, 2023

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

提出了一种算法来估计深度神经网络的训练误差和测试误差之间的差距，该算法不需要测试数据集，使用拓扑学指标来识别网络的泛化能力并计算其对未见样本的测试误差。

May, 2020

通过实证研究 100 个 DNN 模型和 25 种指标，发现 DNN 的测试覆盖率与鲁棒性之间的相关性有限，即提高测试覆盖率并不能帮助提高鲁棒性。这个研究提出的数据集和实现也可以作为测试 DNN 的基准。

Nov, 2019