May, 2017

DeepXplore：深度学习系统的自动化白盒测试

PDF
TL;DR本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。
deep learningsystem testingneuron coveragecorner case behaviorsgradient-based search
发现论文，激发创造
  • DLFuzz: 深度学习系统差分模糊化测试

    本文提出了 DLFuzz, 第一个可引导 DL 系统暴露错误行为的差分模糊测试框架，相比于 DeepXplore 具有更高的神经元覆盖率、更高效的寻找故障输入、更小的干扰等优势。

    Aug, 2018

  • DeepTest: 深度神经网络驱动的自动驾驶汽车自动化测试

    本文介绍了 DeepTest，一个系统的测试工具，可以自动侦测潜在的导致致命碰撞的深度学习驱动车辆的错误行为，通过生成最大化激活神经元数量的测试输入，并利用现实世界变化的驾驶条件（例如雨、雾、照明条件等）来自动生成测试用例，能够发现许多在 Udacity 自动驾驶汽车挑战赛中，三个表现最佳的深度学习神经网络车中，具有潜在致命意外的错误行为。

    Aug, 2017

  • 深度学习的测试改进

    对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

    Feb, 2019

  • 深度学习系统的组合测试

    本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

    Jun, 2018

  • 基于模型的深度学习系统测试行为边界探索

    本文提出行为前沿这一概念，即 Deep Learning 系统开始出现异常行为的输入。利用 DeepJanus 工具，我们为自动驾驶汽车车道保持组件生成行为前沿，并发现训练良好的系统的前沿主要包含违反土木工程最佳实践的不切实际道路，而训练不良的系统的前沿包含指向严重缺陷的许多有效输入。

    Jul, 2020

  • DeepGauge: 深度学习系统的多粒度测试标准

    该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

    Mar, 2018

  • 测试前向神经网络训练程序

    该论文提出了一种名为 TheDeepChecker 的端到端基于属性的调试方法，以检测深度神经网络训练程序中的编码错误和系统失配，并表明其在检测准确性和深度学习故障覆盖面方面优于 Amazon SageMaker Debugger（SMD）的离线规则验证。

    Apr, 2022

  • 基于可激发神经元的深度学习测试框架：从过度激动到错误

    为解决深度神经网络在实际应用中产生错误行为的问题，引入了基于 Shapley 值的可激励神经元概念，设计了一个名为 DeepSensor 的新颖测试框架，通过最大化与各种错误行为相关的可激励神经元数量，生成有效的测试样例，对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验，证明了 DeepSensor 的卓越性能。

    Feb, 2022

  • 使用意外充分性引导深度学习系统测试

    提出了一种新的基于训练数据行为的测试准则 —— 针对深度学习系统的惊奇足够性 (Surprise Adequacy for Deep Learning Systems, SADL), 通过对实现情况进行评估来指导其使用，该方法通过基于收集数据惊喜的系统性采样，从而提高了系统对对抗样本的分类精度到最高可达 77.5% 的通过退化再训练的方式。

    Aug, 2018

  • DeepCruiser: 面向有状态深度学习系统的自动化导向测试

    该论文介绍了一种用于测试循环神经网络的测试框架，并在现有语音转文字深度学习系统上进行了测试，以提高循环神经网络系统的质量和可靠性。

    Dec, 2018