Aug, 2018

使用意外充分性引导深度学习系统测试

PDF
TL;DR提出了一种新的基于训练数据行为的测试准则 —— 针对深度学习系统的惊奇足够性 (Surprise Adequacy for Deep Learning Systems, SADL), 通过对实现情况进行评估来指导其使用，该方法通过基于收集数据惊喜的系统性采样，从而提高了系统对对抗样本的分类精度到最高可达 77.5% 的通过退化再训练的方式。
deep learningtestingsurprise adequacyadversarial examplesclassification accuracy
发现论文，激发创造
  • DeepGauge: 深度学习系统的多粒度测试标准

    该论文提出深度学习系统的多层次测试标准 DeepGauge，以应对其漏洞和不足，经过对多个数据集和攻击技术的分析得出结果，有望构建更加稳健的深度学习系统。

    Mar, 2018

  • 深度学习的分层分布感知测试

    本文提出了一种新的鲁棒性测试方法，考虑到输入分布和输入质量，在特征和像素级别进行分层分析，证实该方法在检测对抗性样本和改进深度学习模型鲁棒性方面比现有技术更加优越。

    May, 2022

  • DeepXplore：深度学习系统的自动化白盒测试

    本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

    May, 2017

  • 基于重要性的深度学习系统测试

    本文介绍了一种名为 DeepImportance 的系统化测试方法，该方法基于 Importance-Driven (IDC) 测试准则，可以用于评估深度学习系统在安全关键的应用中的鲁棒性表现，并且可以支持工程师构建更加稳健的深度学习系统。

    Feb, 2020

  • 深度学习系统的组合测试

    本文探讨了如何采用组合测试技术来测试深度学习系统，以提高其鲁棒性，从而及早发现漏洞。作者提出了一套 DL 系统覆盖度准则和 CT 覆盖度引导测试生成技术，并通过实验证明组合测试可以有效地降低测试空间并提高其缺陷检测能力。此外，还对深度学习系统的组合测试提出了一些未解之问和有趣的方向。

    Jun, 2018

  • 基于可激发神经元的深度学习测试框架：从过度激动到错误

    为解决深度神经网络在实际应用中产生错误行为的问题，引入了基于 Shapley 值的可激励神经元概念，设计了一个名为 DeepSensor 的新颖测试框架，通过最大化与各种错误行为相关的可激励神经元数量，生成有效的测试样例，对包括图像分类模型和说话人识别模型在内的模型进行了广泛的实验，证明了 DeepSensor 的卓越性能。

    Feb, 2022

  • 深度主动学习综述

    这篇文章探讨了深度主动学习的现状和未来发展方向，介绍了目前现有的挖掘数据特征的多种方法，并且对 “深度主动学习” 进行了定义和系统梳理。

    Aug, 2020

  • 测试神经网络的输入优先级排序

    本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标：置信度、不确定性和惊奇度的比较，发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。

    Jan, 2019

  • 增强深度学习入侵检测系统的对抗鲁棒性的简单框架

    提出了一种新颖的 IDS 结构，它通过结合传统机器学习模型和深度学习模型来增强 IDS 对抗敌对攻击的鲁棒性，该结构包含 DL-based IDS、adversarial example detector 和 ML-based IDS 三个组件，并使用 DL 模型高预测准确性和 DL 模型与 ML 模型之间的低攻击可转移性来改善整个系统的鲁棒性。实验证明，在遭受对抗攻击时，该 IDS 系统在预测性能方面显著提高，高准确率，资源消耗低。

    Dec, 2023

  • DLA: 密集层分析用于对抗样本检测

    本文介绍了一种新的端到端框架来检测深度神经网络中可能存在的对抗样本，采用神经元覆盖率引导测试来分析 DNN 的密集层激活模式，以实现实时检测，能够覆盖各种类型的 DNN 架构，包括 LSTM，防御了最先进的攻击，同时提供确保无法轻易绕过的白盒自适应攻击。

    Nov, 2019