ACLMay, 2022

使用 Mask Neuron Coverage 进行 NLP 模型的白盒测试

PDF
TL;DR本论文提出了一种针对基于 transformer 的 NLP 模型的白盒测试方法，其中包括可以衡量模型中的 Attention 层是否得到充分运行的 Mask Neuron Coverage，该方法可用于指导测试数据生成，评估其他 NLP 测试方法，驱动数据增广以提高模型的准确性。
black-box strategieswhite-box testingtransformer-based nlp modelsmask neuron coveragechecklist
发现论文，激发创造
  • 超越准确度：使用 CheckList 进行 NLP 模型的行为测试

    本文介绍了一种基于行为测试原则的 NLP 模型测试方法 - CheckList，它包括常规语言能力和测试类型矩阵以及可用于快速生成大量不同测试用例的软件工具。 用户研究表明，与没有使用 CheckList 的用户相比，使用 CheckList 的 NLP 从业人员可以创建两倍多的测试并发现近三倍的错误。

    May, 2020

  • 深度神经网络测试

    提出了 4 种新的测试标准，为结构性特征和语义定制的深度神经网络，并通过对当前最先进的人工神经网络数据集进行实验来验证其有效性，以平衡测试用例生成的计算成本和发现缺陷的能力，同时在代理中使用对抗性例子。

    Mar, 2018

  • 神经网络测试结构覆盖度测量概述

    本文提供了 DNN 模型测试的结构覆盖度量方法，包括神经元覆盖率（NC）、k 部分神经元覆盖率（kMNC）、前 k 个神经元覆盖率（TKNC）、神经元边界覆盖率（NBC）、强神经元激活覆盖率（SNAC）和修改条件 / 决策覆盖（MC/DC），并评估了这些措施在多个模型中的表现。我们提供了一个测量所有度量标准的测试覆盖率的工具：DNNCov。DNNCov 提供了一个信息丰富的覆盖率报告，以便研究人员和从业者评估 DNN 测试的充分性，比较不同的覆盖度量标准，并在测试期间更方便地检查模型的内部。

    Aug, 2022

  • 深度学习的测试改进

    对神经网络的测试方法进行研究，提出了一种覆盖所有逻辑的覆盖率准则，并探讨了改进方法和需要快速、可扩展、通用的端到端测试方法的必要性。

    Feb, 2019

  • DeepXplore：深度学习系统的自动化白盒测试

    本文介绍了 DeepXplore，这是第一个白盒子架构，用于系统地测试现实中的深度学习系统。它有效地找到了成千上万个在最新的深度学习模型中存在的错误的边缘案例行为，并使用 DeepXplore 生成的测试输入来重新训练相应的 DL 模型，从而提高模型的准确性高达 3％。

    May, 2017

  • 测试循环神经网络：基于覆盖率的测试

    介绍了一种名为 testRNN 的覆盖率指导测试工具，用于验证和验证 LSTM 网络。该工具实现了一种基于突变的通用测试用例生成方法，并根据三个新颖的 LSTM 结构测试覆盖度指标评估网络的鲁棒性。

    Jun, 2019

  • 自然语言处理中神经网络的分析和解释：第一次 BlackboxNLP 研讨会报告

    EMNLP 2018 BlackboxNLP Workshop reviewed techniques to analyze and understand neural models of language, including manipulating inputs, decoding intermediate representations, modifying network architectures, and examining performance on simplified or formal languages.

    Apr, 2019

  • 基于机器学习系统独立系统黑盒测试概述

    该研究论文提出了一种测试程序，可以独立于实际训练过程来测试机器学习模型和基于机器学习的系统；从黑盒的角度，结合机器学习模型的内在随机特性和训练数据，可以验证这些模型和系统的常见质量指标，如准确度和精确度。通过一系列测试实验，该论文提供了初步结果，并提出了扩展现有测试方法以反映机器学习模型和基于机器学习的系统的随机特性。

    Jan, 2024

  • 使用类型学属性增强自然语言处理模型的跨语言行为测试

    本文提出了 M2C，这是一种对自然语言处理模型进行语言特征行为测试的框架，并评估了 12 种类型不同的语言在不同特征测试下的表现，结果发现 NLP 模型在英语上的表现较好，但在斯瓦希里语等语言的某些特殊语言特征测试上表现不佳，这启示我们需要发展解决这些缺陷的模型。

    Jul, 2023

  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023