神经网络测试优先级和主动学习方面的简单技术意外地起到了作用（可复制性研究）

May, 2022

神经网络测试优先级和主动学习方面的简单技术意外地起到了作用（可复制性研究）

Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning (Replicability Study)

PDF

Michael Weiss, Paolo Tonella

TL;DR提出了快速且简单的 TIP 方法 DeepGini，通过大规模研究验证其在处理大规模深度神经网络测试数据效率方面的优越性，但同时也发现来自不确定性量化领域的其他方法，如 softmax 模型预测或预测 softmax 模型熵同样有效。

Abstract

test input prioritizers (TIP) for deep neural networks (DNN) are an important technique to handle the typically very large test datasets efficiently, saving computation and labeling costs. This is particularly tr

test input prioritizers deep neural networks deepgini large-scale study uncertainty quantification

发现论文，激发创造

测试神经网络的输入优先级排序

本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

Jan, 2019

使用生成模型进行神经网络的分布感知测试

针对系统安全和可信度需要进行深入测试的 DNN (DNN 指深度神经网络) 组件，提出了一种基于深度生成模型算法的有效测试方法，以消除无效的测试并提高测试输入的有效性。

Feb, 2021

深度知识：基于泛化的深度学习测试

通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

Mar, 2024

CertPri: 使用特征空间中的移动成本实现深度神经网络的可认证优先级

基于运动成本角度的测试输入优先技术 CertPri 解决了 DNN 软件质量提升中的三个挑战：确证性、有效性和通用性，并在广泛的评估中展现出卓越性能。

Jul, 2023

基于噪声敏感度分析的深度神经网络测试优先级技术

本研究提出一种基于噪声敏感性分析的测试优先技术，可以有效选择深度神经网络模型中噪声敏感性比较高的示例。通过在四个图像数据集和两个深度神经网络模型上的实验证明，该方法能够成功地挑选出噪声敏感度较高的示例。

Jan, 2019

DeepSample：基于 DNN 的操作准确性评估测试

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

通过条件加速操作 DNN 测试的效率

通过使用所学深度神经网络模型的表示进行筛选测试数据，借助交叉熵算法进行高维分布采样，可以有效地更加精确地测试神经网络模型的可靠性，需要的标签数据量大大减少。

Jun, 2019

DeepTPI: 基于深度强化学习的测试点插入

本文提出的 DeepTPI 方法是一种基于深度强化学习和图神经网络不断优化测试点插入任务的思路，在各种规模的电路上都能显著提高测试覆盖率。

Jun, 2022

火中取栗：通过引导避免 DNN 捷径

本文通过实证分析表明新加基于先验知识的 priming 特征（例如通过视觉学习中的最近一帧或者图像分类中的醒目前景进行分类）可以显著提高深度学习对图像分类、持续控制和自主驾驶等应用的效果，从而较好地避免训练时出现的 “短路” 现象。理论上，这是因为 priming 特征引导了模型优化的方向，使其避免陷入一些不可靠的简单捷径。

Jun, 2022

深度学习模型的退役特征排名

我们提出了一种新的通用特征排序方法，该方法在静态和时间序列场景中在多个数据集上表现良好，可用于分类和回归等任务，并且应用于药物反应数据集时能够识别与药物反应相关的基因。

Dec, 2017