DICE 是一种信息论测试和调试框架，通过量化含有决策数据的受保护信息来识别和定位深度前馈神经网络中的公平缺陷，在此基础上提出了一种因果调试框架来定位不足训练的层和神经元，并通过实验有效地生成有歧视性的实例。

Apr, 2023

该研究采用两种方法来衡量深度神经网络中的鲁棒性偏差。实证研究结果表明，在大多数情况下，存在一些少数群体处于劣势，并提出了数据分布和学习决策边界的高度复杂性是导致此类偏向的原因。

Jun, 2020

提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

Feb, 2019

本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

Jun, 2018

该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

Mar, 2018

针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

Feb, 2021

通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

Mar, 2024

该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

Apr, 2022

本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

May, 2018