Mar, 2022

实践中的机器学习测试 -- 从与 Axis Communications 的互动快速审查中学到的经验教训

PDF
TL;DR本研究旨在探究机器学习测试的相关问题，并通过快速审核等方法建立了与业界、学术界等相关方的共同视角，分析了一系列文献，建立了相关分类学，并提出了 12 个问题用于检验与测试机器学习的质量及可行性，针对数据测试等方面进行了深入研究，并从五个研究中提取相关方法以支持日后的改进工作。
machine learning testingcollaborationtaxonomyrapid reviewdata testing
发现论文，激发创造
  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 机器学习测试：调查、现状与展望

    本文综述了 144 篇关于机器学习测试（ML Testing）的研究论文，涵盖了测试属性（如正确性，鲁棒性和公平性）、测试组件（如数据、学习程序和框架）、测试工作流（如测试生成和测试评估）和应用场景（如自动驾驶、机器翻译）。研究还分析了数据集、研究趋势和研究重点的趋势，并得出了 ML 测试中的研究挑战和有前景的研究方向。

    Jun, 2019

  • 衡量 AI 系统的方式：超越准确性

    本文主张通过指导整体的测试与评估策略的六个关键问题来推动跨领域机器学习测试与评估方法的发展，从而建立人工智能工程学科。

    Apr, 2022

  • 机器学习在持续集成中的应用的系统文献综述

    本研究对机器学习在持续集成中的应用进行了系统综述，探讨了其数据工程、特征工程、超参数调整、评估方法等方面。研究提供了研究者和从业者在持续集成中应用机器学习方法的有价值的见解，强调在这一领域需要进一步研究。

    May, 2023

  • 关于学习方法在持续集成中应用的系统文献综述

    该研究综述了持续集成领域中基于学习的方法，探讨了自动化持续集成任务的分析以及相关技术和指标的应用和缺陷，为研究人员和从业者提供了有价值的洞见，并强调了在持续集成中进一步研究这些方法的重要性。

    Jun, 2024

  • 可解释机器学习：从神话到诊断

    本文综合了关于可解释机器学习（IML）方法和评估的基础研究，提出了可操作的分类法，并提出了一个三步骤的工作流程，以更好地使研究人员和客户合作，发现哪些方法对什么用例有用。同时，作者通过在分类法结果的基础上进行进一步研究，更好地满足客户对相关用例和研究人员对提出的方法的需求。

    Mar, 2021

  • 机器学习软件测试

    讨论机器学习的软件测试以确保其正确性和可靠性，尤其是在安全关键应用中存在欺骗和错误等挑战，探讨六个关键挑战领域及其局限，提出继续研究方向。

    Apr, 2022

  • 对抗机器学习 -- 行业视角

    通过对 28 个组织的采访，我们发现行业从业者缺乏保护、检测和响应机器学习系统攻击的战术和战略工具。此文章旨在从开发者 / ML 工程师和安全事件响应者的角度，阐述了机器学习系统在传统软件安全开发背景下的安全性视图差异，以期鼓励研究人员在对抗 ML 领域中修订和修改软件安全开发生命周期。

    Feb, 2020

  • 使用质量属性场景进行机器学习模型测试用例生成

    通过质量属性场景提供的方法，可支持机器学习模型进行测试，以便超越性能测试，早期发现开发过程中的失败情况。

    Jun, 2024

  • 自动机器学习技术的崛起：面向工业应用的高效软件和应用程序调研

    本文综述了现有的自动机器学习工具，包括开源和商业工具，并阐述了一个评估自动机器学习解决方案在实际应用中表现良好的框架，该框架考虑了各方利益和人机交互。此外，通过对学术和商业案例研究的广泛评估和比较，本综述也评估了 AutoML 在 2020 年代初的主流参与度，并确定了加速未来普及的障碍和机遇。

    Nov, 2022