本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标:置信度、不确定性和惊奇度的比较,发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。
Jan, 2019
为解决深度神经网络在实际应用中产生错误行为的问题,引入了基于 Shapley 值的可激励神经元概念,设计了一个名为 DeepSensor 的新颖测试框架,通过最大化与各种错误行为相关的可激励神经元数量,生成有效的测试样例,对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验,证明了 DeepSensor 的卓越性能。
Feb, 2022
通过探索测试选择方法的失败情况和弊端,本文证实了这些方法在故障检测和性能估计方面存在可靠性问题,并提出了相应的解决方案。
Jul, 2023
提出了 4 种新的测试标准,为结构性特征和语义定制的深度神经网络,并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性,以平衡测试用例生成的计算成本和发现缺陷的能力,同时在代理中使用对抗性例子。
Mar, 2018
深度神经网络在计算机视觉任务中表现出色,但对于关键应用,需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法,旨在估算其对准确性的敏感性,并提出了用于评估该方法的新数据集,为提高 DNN 效率和硬件故障鲁棒性(如位交换)提供了参考。
Aug, 2023
本文提出了一种利用相似标签样本选择的自训练深度神经网络的方法,可有效降低错误伪标签产生的噪声影响,并均衡自训练过程性能提高和时间效率优化的关系。
Jan, 2023
本文提出了一种构造选择分类器的方法,可在风险可控的情况下使用深度神经网络进行分类,解决了在深度神经网络中使用拒绝选项技术的问题,有效提高了分类器性能,成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率,并且测试覆盖率达到近 60%,为深度神经网络在关键应用中的应用提供了可能性。
May, 2017
通过概率抽样,研究了五种新的基于抽样的测试技术以及其他三种先进技术,以实现对深度神经网络在运行中准确度的忠实和高置信度估计,从而降低成本。
Mar, 2024
对神经网络的测试方法进行研究,提出了一种覆盖所有逻辑的覆盖率准则,并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。
Feb, 2019
本研究提出一种基于噪声敏感性分析的测试优先技术,可以有效选择深度神经网络模型中噪声敏感性比较高的示例。通过在四个图像数据集和两个深度神经网络模型上的实验证明,该方法能够成功地挑选出噪声敏感度较高的示例。