Jan, 2024

基于机器学习系统独立系统黑盒测试概述

PDF
TL;DR该研究论文提出了一种测试程序，可以独立于实际训练过程来测试机器学习模型和基于机器学习的系统；从黑盒的角度，结合机器学习模型的内在随机特性和训练数据，可以验证这些模型和系统的常见质量指标，如准确度和精确度。通过一系列测试实验，该论文提供了初步结果，并提出了扩展现有测试方法以反映机器学习模型和基于机器学习的系统的随机特性。
ml modelsml-based systemstest procedureaccuracystochastic nature
发现论文，激发创造
  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 通过主动的 MDP 学习进行概率性黑盒验证

    我们介绍了一种新的测试随机黑盒系统的方法，该方法通过使用主动马尔科夫决策流程、概率模型检查和统计假设检验等技术，改进了传统的黑盒检查方法，并且在实验结果中表现优于现有方法。

    Jul, 2023

  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 解释黑匣子模型方法综述

    本文提供了关于黑盒决策系统和可解释性的分类，以及开放式黑盒模型的方法，帮助研究者找到适合自己工作的提案，并对许多研究开放性问题有所启发。

    Feb, 2018

  • 黑盒顺序决策系统的自主能力评估

    本文提出了一种能够有效描述黑盒决策系统能力的主动学习方法，并证明了该方法的收敛性和少许示例的普适性。

    Jun, 2023

  • 黑匣子 NLP 模型的解释：一项调查

    本文提出了一种基于中心极限定理的假设检验框架以确定所需扰动点的数量，从而保障解释稳定性的方法 S-LIME，以解决黑箱模型的可解释性问题。对模拟数据集和实际数据集进行的实验表明了该方法的有效性。

    Mar, 2022

  • 深度实时假设测试

    我们提出了一个通用的框架，用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务，如双样本测试、独立性测试和条件独立性测试，以及现代问题，如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势：1) 它持续监控在线数据流并有效地聚合针对零假设的证据，2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制，3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架（testing-by-betting framework）中利用机器学习模型的表示能力方面开发了一种基于原则的方法，这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明，使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。

    Oct, 2023

  • 用 SMILE 解释黑盒子：局部解释的统计模型无关可解释性

    机器学习的可信度与解释性是当前发展的重点，提升可信度的关键在于解释性，我们提出了 SMILE 方法，利用统计距离度量来提高解释性，并适用于各种数据领域。

    Nov, 2023

  • 数据视角下的公平性：机器学习模型认证

    本文介绍了一个基于交互和隐私保护测试的框架，该框架允许对任何经过训练的模型进行公平程度的认证，无论其训练过程和架构如何，并且提供了一种加密技术来自动进行公平测试和认证推理，同时隐藏参与者的敏感数据。

    Sep, 2020

  • 使用 Mask Neuron Coverage 进行 NLP 模型的白盒测试

    本论文提出了一种针对基于 transformer 的 NLP 模型的白盒测试方法，其中包括可以衡量模型中的 Attention 层是否得到充分运行的 Mask Neuron Coverage，该方法可用于指导测试数据生成，评估其他 NLP 测试方法，驱动数据增广以提高模型的准确性。

    May, 2022