Jun, 2019

机器学习测试：调查、现状与展望

PDF
TL;DR本文综述了 144 篇关于机器学习测试（ML Testing）的研究论文，涵盖了测试属性（如正确性，鲁棒性和公平性）、测试组件（如数据、学习程序和框架）、测试工作流（如测试生成和测试评估）和应用场景（如自动驾驶、机器翻译）。研究还分析了数据集、研究趋势和研究重点的趋势，并得出了 ML 测试中的研究挑战和有前景的研究方向。
发现论文，激发创造
  • 机器学习软件测试

    讨论机器学习的软件测试以确保其正确性和可靠性，尤其是在安全关键应用中存在欺骗和错误等挑战，探讨六个关键挑战领域及其局限，提出继续研究方向。

    Apr, 2022

  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 衡量 AI 系统的方式：超越准确性

    本文主张通过指导整体的测试与评估策略的六个关键问题来推动跨领域机器学习测试与评估方法的发展，从而建立人工智能工程学科。

    Apr, 2022

  • 现代机器学习的景观：机器学习，分布式学习和联邦学习的综述

    现代机器学习的综述，包括高级算法、应用和框架，介绍了并行分布式学习、深度学习和联邦学习等内容。

    Dec, 2023

  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 将人类从学习应用中剔除：自动化机器学习综述

    本文介绍了 AutoML 问题的定义和解决方案，项目分类和现有工作的审查，并提出了一个 AutoML 框架以减少对人类专家的需求和提高学习性能。

    Oct, 2018

  • 创意和机器学习：一项调查

    该研究综述了机器学习和创造力领域的发展历程和现状，重点介绍了计算创造力理论、生成式深度学习和相应的自动评估方法，并讨论了当前研究面临的挑战和新机遇。

    Apr, 2021

  • 实践中的机器学习测试 -- 从与 Axis Communications 的互动快速审查中学到的经验教训

    本研究旨在探究机器学习测试的相关问题，并通过快速审核等方法建立了与业界、学术界等相关方的共同视角，分析了一系列文献，建立了相关分类学，并提出了 12 个问题用于检验与测试机器学习的质量及可行性，针对数据测试等方面进行了深入研究，并从五个研究中提取相关方法以支持日后的改进工作。

    Mar, 2022

  • 数据与模型的机器学习公平性测试：实证研究

    通过对模型的前后公平性进行评估，研究发现，在数据分布和训练数据规模发生变化时，数据和模型公平性指标之间存在线性关系。这表明，在训练之前对公平性进行测试可以尽早发现有偏见的数据收集过程，检测生产系统中的数据漂移，并减少全面训练周期的执行，从而减少开发时间和成本。

    Jan, 2024

  • 部署机器学习的挑战：案例研究调查

    该论文调查了部署机器学习模型在实际业务系统中可能遇到的挑战和关注点，并将这些挑战与机器学习部署工作流程的各个阶段对应起来，以期为解决这些挑战探索新的方法和研究方向。

    Nov, 2020