Mar, 2018

DeepGauge: 深度学习系统的多粒度测试标准

PDF
TL;DR该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。
deep learningvulnerabilitiestesting adequacyinterpretabilitymulti-granularity testing criteria
发现论文，激发创造
  • DeepCruiser: 面向有状态深度学习系统的自动化导向测试

    该论文介绍了一种用于测试循环神经网络的测试框架，并在现有语音转文字深度学习系统上进行了测试，以提高循环神经网络系统的质量和可靠性。

    Dec, 2018

  • 深度学习系统的组合测试

    本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

    Jun, 2018

  • 使用意外充分性引导深度学习系统测试

    提出了一种新的基于训练数据行为的测试准则 —— 针对深度学习系统的惊奇足够性 (Surprise Adequacy for Deep Learning Systems, SADL), 通过对实现情况进行评估来指导其使用，该方法通过基于收集数据惊喜的系统性采样，从而提高了系统对对抗样本的分类精度到最高可达 77.5% 的通过退化再训练的方式。

    Aug, 2018

  • 深度学习的测试改进

    对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

    Feb, 2019

  • 深度学习测试中重新思考多样性

    本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

    May, 2023

  • 基于重要性的深度学习系统测试

    本文介绍了一种名为 DeepImportance 的系统化测试方法，该方法基于 Importance-Driven (IDC) 测试准则，可以用于评估深度学习系统在安全关键的应用中的鲁棒性表现，并且可以支持工程师构建更加稳健的深度学习系统。

    Feb, 2020

  • 深度变异：深度学习系统的变异测试

    本研究提出了一种专为深度学习系统设计的突变测试框架，通过注入故障来度量测试数据的质量，并在 MNIST 和 CIFAR-10 数据集上验证了其有效性。

    May, 2018

  • 深度知识：基于泛化的深度学习测试

    通过 DeepKnowledge 系统测试方法，可以评估 DNN 的可靠性和泛化能力，并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。

    Mar, 2024

  • DeepXplore：深度学习系统的自动化白盒测试

    本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

    May, 2017

  • 深度学习库测试方法概述

    深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

    Apr, 2024