AAAIAug, 2020

人机互动机器学习征求人员反馈会降低用户信任和对模型准确性的印象

PDF
TL;DR通过一个模拟物体检测系统的实验，我们研究了交互反馈对用户对智能系统及其准确性理解的影响，结果表明提供循环反馈降低了参与者对系统的信任和其对系统准确性的感知，这凸显了在设计智能系统时考虑用户反馈对用户信任的影响的重要性。
mixed-initiative systemshuman feedbackuser trustintelligent systemsfeedback collection
发现论文，激发创造
  • 人类参与的机器学习概述

    本文基于数据分析角度，对人机协同中的数据处理、模型训练和系统独立模式，进行了调查总结，分类整理，提供了自然语言处理、计算机视觉等多领域的技术优势 / 缺陷、挑战和机遇，提出了有效设计人机协同解决方案的思路。

    Aug, 2021

  • 基于强化学习的具身智能体通过互动与多感知模拟对人类用户进行建模

    本文研究交互式机器学习的发展和应用，探讨人类反馈对于机器人行为的影响和提高机器人性能的方法，发现人类反馈参数对于任务性能的影响很大，需要更好地了解人类反馈的潜在变量以更好地处理人机交互领域的问题。

    Jan, 2017

  • 在交互式人机协同 AI 公平性中促进最终用户的参与

    我们探索了一种人机交互界面的设计，使得普通用户可以识别潜在的公平问题并在贷款决策的背景下解决它们，为评判和解决人工智能的公平性做出贡献。

    Apr, 2022

  • 一种以用户为中心，交互式，人机交互主题建模系统

    开发了一种新型交互式人机协同的主题建模系统，支持对语料库特定方面的主题建模，具有易于使用的界面、记录与比较功能以及主题词推荐功能，经过多次用户研究验证，该系统在主题建模中的应用具有显著价值。

    Apr, 2023

  • 将人类纳入自然语言处理环节：一项调查

    介绍了人与自然语言处理模型 (NLP) 的交互式 (HITL) 的短暂但激动人心的历史，总结了近期以任务、目标、人机交互和反馈学习方法为重点的各种 HITL NLP 框架，并讨论了将来在 NLP 开发中整合人类反馈的方向。

    Mar, 2021

  • 交互式知识引导中用户建模以避免过度拟合

    本研究提出了一种用户建模方法，通过概率用户模型来推断用户的知识，从而提高交互式机器学习的性能，并避免过度拟合的问题。

    Oct, 2017

  • 误信：测量机器学习对人类决策的干扰

    研究人员探究了人们在处理两项困难任务时，对机器学习（ML）建议的信任程度；他们发现，即使人们了解这些任务，并给出了表明该系统不自信的信息，但在执行大部分时间正确的任务时，人们也会相信错误的 ML 建议，并且提供了四种不同类型的系统信息可增加人们对建议的信任，并且数学和逻辑技能对于使用 ML 建议的决策者来说可能与 ML 一样重要。

    May, 2020

  • 提高人机协作系统的效率：将人工智能加入人类专家

    人工智能和机器学习在信息系统中发挥了重要作用，然而机器学习模型不完美并且可能产生错误分类。因此，本研究提出了一种混合系统，利用人工专家对难以分类的实例进行审核，并创造了人工专家来学习对之前由人工专家审核过的未知类别数据实例进行分类。实验证明，这种方法在图像分类的几个基准测试中优于传统的人机合作系统。

    Jul, 2023

  • 专家参与对于机器智能探究的影响

    该研究分析了人工智能优化过程中用户专业水平对解决方案质量和主观满意度的影响，从文本、照片和三维网格优化等不同领域进行了研究，认为专业人士更倾向于追求多样化的结果，这一行为可以用作设计者改进智能优化模型的绩效指标。

    Feb, 2023

  • 高级交互式人机学习界面用于收集和学习复杂的注释

    本文旨在通过为二分类任务提供人机学习界面，使人类注释者能够利用反事实例来补充标准的二分类标签，以缓解人类注释者适应传统标签所施加的限制。

    Mar, 2024