AAAINov, 2016

论人类智能与机器故障：综合机器学习系统的故障排除

PDF
TL;DR研究如何解决机器学习系统中多个组件的分析流程中出现的问题，通过人力计算任务模拟潜在组件修复方案以改善系统整体行为，为设计师提供改进系统的指导，并在一个自动化图像字幕系统上演示了该方法的有效性。
troubleshootingmachine learninganalytical pipelineshuman-in-the-loop methodologysystem improvements
发现论文，激发创造
  • 走向责任人工智能：混合人机分析系统故障特征

    机器学习系统 accountability 评估方法 fail 特点系统 Pandora 优势。

    Sep, 2018

  • 加速人机协同机器学习：挑战与机遇

    该研究描述了一种 “人机互动” 机器学习系统的愿景，它通过智能跟踪更改和中间结果，实现了工作流加速，反馈及时，内省和调试，背景执行和自动化，并描述了 Helix，初步尝试这样一个系统已经在典型的迭代工作流中实现了最多 10 倍的提速。

    Apr, 2018

  • 人类参与的机器学习概述

    本文基于数据分析角度，对人机协同中的数据处理、模型训练和系统独立模式，进行了调查总结，分类整理，提供了自然语言处理、计算机视觉等多领域的技术优势 / 缺陷、挑战和机遇，提出了有效设计人机协同解决方案的思路。

    Aug, 2021

  • 设计和评估以人为中心的交互式机器学习简要指南

    该研究论文提出了一种面向人类的指南，旨在帮助机器学习从业者在开发和部署交互式机器学习系统时，解决人机协作、模型评估、公平透明等责任问题，以促进人类技能和能力的增强

    Apr, 2022

  • 融合个人知识于测试时间预测

    该研究报告介绍了人工特征整合的问题，该问题提供了一种将非专业领域用户的重要个人知识纳入到机器学习预测中的方法，并通过用户故事和与现有方法的比较，形式化地描述了该问题，为未来的技术解决方案奠定了基础，并在半现实环境中进行了一个简单版本的解决方案的概念验证研究。

    Jun, 2024

  • 提高人机协作系统的效率：将人工智能加入人类专家

    人工智能和机器学习在信息系统中发挥了重要作用，然而机器学习模型不完美并且可能产生错误分类。因此，本研究提出了一种混合系统，利用人工专家对难以分类的实例进行审核，并创造了人工专家来学习对之前由人工专家审核过的未知类别数据实例进行分类。实验证明，这种方法在图像分类的几个基准测试中优于传统的人机合作系统。

    Jul, 2023

  • 模型何时以及为何失败？用于情感分析的人机交互型错误检测框架

    本论文提出一种基于可解释特征的情感分析错误检测框架，通过人为干预的全局特征验证和全局与局部特征贡献分析，该方法能在高精度的情况下识别未知数据上的错误模型预测。

    Jun, 2021

  • 人机互动机器学习征求人员反馈会降低用户信任和对模型准确性的印象

    通过一个模拟物体检测系统的实验，我们研究了交互反馈对用户对智能系统及其准确性理解的影响，结果表明提供循环反馈降低了参与者对系统的信任和其对系统准确性的感知，这凸显了在设计智能系统时考虑用户反馈对用户信任的影响的重要性。

    Aug, 2020

  • 机器解释与人类理解

    本研究通过适应性因果图的方式，探讨了人机共存下机器学习模型解释与人类理解的相互作用。研究发现，提高人类针对模型决策边界的理解是可能的，但提高人类对任务决策边界或模型错误的理解需要结合人类主观性经验去实现。最后，本研究提出了一些可行的措施，以及未来机器学习模型解释研究的方向。

    Feb, 2022

  • 误信：测量机器学习对人类决策的干扰

    研究人员探究了人们在处理两项困难任务时，对机器学习（ML）建议的信任程度；他们发现，即使人们了解这些任务，并给出了表明该系统不自信的信息，但在执行大部分时间正确的任务时，人们也会相信错误的 ML 建议，并且提供了四种不同类型的系统信息可增加人们对建议的信任，并且数学和逻辑技能对于使用 ML 建议的决策者来说可能与 ML 一样重要。

    May, 2020