Mar, 2018

深度神经网络测试

PDF
TL;DR提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。
deep neural networkssoftware testingtest criteriaadversarial examplescomputational cost
发现论文，激发创造
  • 深度学习的测试改进

    对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

    Feb, 2019

  • 神经网络测试结构覆盖度测量概述

    本文提供了 DNN 模型测试的结构覆盖度量方法，包括神经元覆盖率（NC）、k 部分神经元覆盖率（kMNC）、前 k 个神经元覆盖率（TKNC）、神经元边界覆盖率（NBC）、强神经元激活覆盖率（SNAC）和修改条件 / 决策覆盖（MC/DC），并评估了这些措施在多个模型中的表现。我们提供了一个测量所有度量标准的测试覆盖率的工具：DNNCov。DNNCov 提供了一个信息丰富的覆盖率报告，以便研究人员和从业者评估 DNN 测试的充分性，比较不同的覆盖度量标准，并在测试期间更方便地检查模型的内部。

    Aug, 2022

  • 深度神经网络的覆盖率与鲁棒性之间存在有限的相关性

    通过实证研究 100 个 DNN 模型和 25 种指标，发现 DNN 的测试覆盖率与鲁棒性之间的相关性有限，即提高测试覆盖率并不能帮助提高鲁棒性。这个研究提出的数据集和实现也可以作为测试 DNN 的基准。

    Nov, 2019

  • 使用生成模型进行神经网络的分布感知测试

    针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

    Feb, 2021

  • 测试前向神经网络训练程序

    该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

    Apr, 2022

  • 深度学习测试中重新思考多样性

    本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

    May, 2023

  • 通过条件加速操作 DNN 测试的效率

    通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

    Jun, 2019

  • 测试神经网络的输入优先级排序

    本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

    Jan, 2019

  • 深度知识：基于泛化的深度学习测试

    通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

    Mar, 2024

  • DeepSample：基于 DNN 的操作准确性评估测试

    通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

    Mar, 2024