Mar, 2023

MLTEing Models: 模型和系统质量的协商、评估和记录

PDF
TL;DRMLTE 框架是一种机器学习模型和系统评估的方法，通过将现有的评估技术编译成团队间的组织过程，支持跨学科团队对模型进行测试和评估，为团队提供领域特定语言、评估指标收集系统和交互功能。
发现论文，激发创造
  • 衡量 AI 系统的方式：超越准确性

    本文主张通过指导整体的测试与评估策略的六个关键问题来推动跨领域机器学习测试与评估方法的发展，从而建立人工智能工程学科。

    Apr, 2022

  • 机器学习系统的测试和评估最佳实践

    机器学习软件系统的测试与评估 (T&E) 是具有挑战性的，需要新的系统测试方法、适应度测量和指标以解决系统整个生命周期中的 T&E 难题。

    Oct, 2023

  • TEL'M: 语言模型的测试和评估

    语言模型在某些任务上表现出色，但在其他任务上却遭受了严重的失败。本文提出了一种基于测试和评估的语言模型（TEL'M）作为一种原则性方法，用于评估当前和未来的语言模型在高价值商业、政府和国家安全应用领域的价值。我们相信这种方法可以被应用于其他人工智能技术中，以实现 “工业化” 人工智能的更大目标。

    Apr, 2024

  • 使用质量属性场景进行机器学习模型测试用例生成

    通过质量属性场景提供的方法，可支持机器学习模型进行测试，以便超越性能测试，早期发现开发过程中的失败情况。

    Jun, 2024

  • METTLE: 一种元测变异测试方法，用于评估和验证无监督机器学习系统

    本文提出了一种名为 METTLE 的魔态测试方法来评估和验证无监督机器学习系统，通过考虑用户需求和系统期望的特征，揭示了各种机器学习系统的潜在特性并在实验中展示了其可用性，从终端用户软件工程角度而非设计者或实现者视角获得了对机器学习系统行为的深入理解。

    Jul, 2018

  • 机器学习系统的技术成熟度水平

    介绍了一种名为 “机器学习技术准备级别” 的系统工程方法，可确保机器学习方法的可靠性和有效性，同时优化产品化和部署过程。

    Jan, 2021

  • 机器翻译评估概述

    自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

    Feb, 2022

  • 关于将自动化测试标记语言（ATML）扩展到机器学习的研究

    本研究针对机器学习应用在边缘计算、机器人、卫星和无人车等系统中的操作测试与评估（T&E）的迫切需求，研究了 IEEE 1671 标准（自动化测试标记语言）的适用性，并探索了扩展该标准以满足机器学习应用中的挑战，提出了一个可适应特定应用的框架，认为对 ATML 进行小幅修改即可满足机器学习领域的独特需求。该研究认为 ATML 是一种有前景的工具，可用于有效、准实时的机器学习应用的操作测试与评估，是人工智能生命周期管理、安全性和治理的重要方面。

    Apr, 2024

  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020

  • 重新思考模型评估作为缩小社会技术差距的一种方式

    在这篇论文中，作者认为生成模型和大型语言模型（LLM）的发展给模型评估带来了新的挑战与责任，因此呼吁研究人员应开发基于真实世界的社会需求的评估方法，并兼顾现实与成本的平衡，以缩小模型使用中的社会技术差距，同时为大型语言模型的评估提供开放性问题和机会。

    Jun, 2023