Feb, 2020

基于重要性的深度学习系统测试

PDF
TL;DR本文介绍了一种名为 DeepImportance 的系统化测试方法，该方法基于 Importance-Driven (IDC) 测试准则，可以用于评估深度学习系统在安全关键的应用中的鲁棒性表现，并且可以支持工程师构建更加稳健的深度学习系统。
deep learningsafety-criticaltesting methodologyimportance-driven criterionrobustness
发现论文，激发创造
  • DeepGauge: 深度学习系统的多粒度测试标准

    该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

    Mar, 2018

  • 深度学习库测试方法概述

    深度学习技术在各个领域极大地方便了人们的生活，但深度学习库作为这些系统的支柱，同样会受到漏洞的威胁。本文提供了与深度学习库相关的测试研究概述，讨论了现有方法的优势、劣势，并为深度学习库的应用提供指导和参考，同时还总结了针对这些库的现有测试方法和工具，分析了其有效性和局限性，并探讨了深度学习库测试的挑战和未来的研究方向。

    Apr, 2024

  • ISimDL：用于深度学习鲁棒性评估的重要性采样驱动故障注入模拟加速

    本文提出 ISimDL 这一新的方法，通过神经元灵敏度生成重要性抽样型的错误场景，以提高对深度学习系统鲁棒性的分析效率，并基于此提出一种名为 Fault Aware Training（FAT）的新方法，该方法可减少 12 倍以上的精度降低开销。

    Mar, 2023

  • 深度学习系统的组合测试

    本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

    Jun, 2018

  • 使用意外充分性引导深度学习系统测试

    提出了一种新的基于训练数据行为的测试准则 —— 针对深度学习系统的惊奇足够性 (Surprise Adequacy for Deep Learning Systems, SADL), 通过对实现情况进行评估来指导其使用，该方法通过基于收集数据惊喜的系统性采样，从而提高了系统对对抗样本的分类精度到最高可达 77.5% 的通过退化再训练的方式。

    Aug, 2018

  • 深度学习测试中重新思考多样性

    本文讨论了深度学习系统在测试中存在的漏洞和不公平性问题，提出了使用 6 个度量标准进行有针对性的测试的方法，并以实验证明该方法比传统多样性方法更为有效。同时，指出了软件工程界和深度学习领域之间存在的差异，以期在未来拓宽两者的研究实践。

    May, 2023

  • 提升软件开发的智能软件工具

    通过利用大量的非结构化软件工程文档，探索深度学习技术如何改善软件开发过程。

    Oct, 2023

  • DeepXplore：深度学习系统的自动化白盒测试

    本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

    May, 2017

  • 测试神经网络的输入优先级排序

    本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

    Jan, 2019

  • 科学中的深度学习

    这篇文章利用自然语言处理技术，针对多个领域的相关研究文献分析了深度学习技术的扩散和影响，在研究健康科学的过程中发现，深度学习技术的采用虽然与知识结构的颠覆和再组合的新颖性呈现负相关，但却能提高期望和引用性能方面的变异性。因此，深度学习方法可以作为一种通用的科学方法，以可衡量的方式推动科学的进展。

    Sep, 2020