测试神经网络的输入优先级排序

Jan, 2019

Input Prioritization for Testing Neural Networks

Taejoon Byun, Vaibhav Sharma, Abhishek Vijayakumar, Sanjai Rayadurgam, Darren Cofer

TL;DR本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

Abstract

deep neural networks (DNNs) are increasingly being adopted for sensing and control functions in a variety of safety and mission-critical systems such as self-driving cars, autonomous air vehicles, medical diagnostics, and industrial robotics. Failures of such systems can lead to loss o

deep neural networks testing sentiment measures prioritization fault-revealing capability

发现论文，激发创造

使用生成模型进行神经网络的分布感知测试

针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

Feb, 2021

SAfER: 高效稳健的神经网络推理的层级敏感性评估

深度神经网络在计算机视觉任务中表现出色，但对于关键应用，需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法，旨在估算其对准确性的敏感性，并提出了用于评估该方法的新数据集，为提高 DNN 效率和硬件故障鲁棒性（如位交换）提供了参考。

Aug, 2023

基于噪声敏感度分析的深度神经网络测试优先级技术

本研究提出一种基于噪声敏感性分析的测试优先技术，可以有效选择深度神经网络模型中噪声敏感性比较高的示例。通过在四个图像数据集和两个深度神经网络模型上的实验证明，该方法能够成功地挑选出噪声敏感度较高的示例。

Jan, 2019

神经网络测试优先级和主动学习方面的简单技术意外地起到了作用（可复制性研究）

提出了快速且简单的 TIP 方法 DeepGini，通过大规模研究验证其在处理大规模深度神经网络测试数据效率方面的优越性，但同时也发现来自不确定性量化领域的其他方法，如 softmax 模型预测或预测 softmax 模型熵同样有效。

May, 2022

深度神经网络测试

提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

Mar, 2018

深度学习的测试改进

对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

Feb, 2019

基于神经元敏感性指导的深度学习测试用例选择

通过选择有价值的测试用例来降低标记时间，NSS 可以评估测试用例触发故障的概率和模型改进能力，并且在与基线方法比较时取得了较高的故障检测率。

Jul, 2023

通过条件加速操作 DNN 测试的效率

通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

Jun, 2019

深度神经网络的敏感性分析

本文提出了一种新的扰动流形及其关联的影响度量方法，通过该方法可以量化各种扰动对 DNN 分类器的影响，主要应用于四个模型构建任务：检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明，该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。

Jan, 2019

CertPri: 使用特征空间中的移动成本实现深度神经网络的可认证优先级

基于运动成本角度的测试输入优先技术 CertPri 解决了 DNN 软件质量提升中的三个挑战：确证性、有效性和通用性，并在广泛的评估中展现出卓越性能。

Jul, 2023