Aug, 2022

神经网络测试结构覆盖度测量概述

PDF
TL;DR本文提供了 DNN 模型测试的结构覆盖度量方法，包括神经元覆盖率（NC）、k 部分神经元覆盖率（kMNC）、前 k 个神经元覆盖率（TKNC）、神经元边界覆盖率（NBC）、强神经元激活覆盖率（SNAC）和修改条件 / 决策覆盖（MC/DC），并评估了这些措施在多个模型中的表现。我们提供了一个测量所有度量标准的测试覆盖率的工具：DNNCov。DNNCov 提供了一个信息丰富的覆盖率报告，以便研究人员和从业者评估 DNN 测试的充分性，比较不同的覆盖度量标准，并在测试期间更方便地检查模型的内部。
发现论文，激发创造
  • 深度神经网络测试

    提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

    Mar, 2018

  • 深度神经网络的覆盖率与鲁棒性之间存在有限的相关性

    通过实证研究 100 个 DNN 模型和 25 种指标，发现 DNN 的测试覆盖率与鲁棒性之间的相关性有限，即提高测试覆盖率并不能帮助提高鲁棒性。这个研究提出的数据集和实现也可以作为测试 DNN 的基准。

    Nov, 2019

  • 深度学习的测试改进

    对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

    Feb, 2019

  • 使用 Mask Neuron Coverage 进行 NLP 模型的白盒测试

    本论文提出了一种针对基于 transformer 的 NLP 模型的白盒测试方法，其中包括可以衡量模型中的 Attention 层是否得到充分运行的 Mask Neuron Coverage，该方法可用于指导测试数据生成，评估其他 NLP 测试方法，驱动数据增广以提高模型的准确性。

    May, 2022

  • 神经元覆盖率对于提高人体检测的鲁棒性是否必要？

    本篇论文探讨了使用基于覆盖率的测试（CGT）方法对拥挤场景下人体检测中的深度神经网络（DNN）进行改进，并发现了数千种不正确的 DNN 行为，但未能证明探究的覆盖率指标可以用于提高 DNN 的鲁棒性。

    Apr, 2022

  • 通过条件加速操作 DNN 测试的效率

    通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

    Jun, 2019

  • 基于复杂网络理论的深度神经网络：一种观点

    通过复杂网络理论和统计物理结合，此研究工作扩展了现有的复杂网络度量指标，从纯拓扑分析转变为与深度学习可解释性相关的分析方法，提供了探究深度神经网络的物理根源，超越传统的输入 - 输出关系和复杂网络拓扑分析。

    Apr, 2024

  • 基于分布偏移检测的深度神经网络的单次在线测试

    本篇论文提出了一种一次性测试方案，可以在使用 memristive crossbars 加速的神经网络中执行有效的失效测试，且只需一个测试向量，这可以有效减少内存开销和测试向量数量，同时提高失效覆盖率。

    May, 2023

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 基于可激发神经元的深度学习测试框架：从过度激动到错误

    为解决深度神经网络在实际应用中产生错误行为的问题，引入了基于 Shapley 值的可激励神经元概念，设计了一个名为 DeepSensor 的新颖测试框架，通过最大化与各种错误行为相关的可激励神经元数量，生成有效的测试样例，对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验，证明了 DeepSensor 的卓越性能。

    Feb, 2022