Oct, 2023

安全关键行业中的人工智能与人类互动研究：一个系统文献综述

PDF
TL;DR确保安全关键行业中的质量人机交互（HAII）至关重要，研究工作需要整合术语描述、AI 系统的主要角色、影响 HAII 的因素、样本性能和衡量 HAII 的方法。此领域的研究存在巨大的空白，研究者和开发者需要明确术语、让用户参与整个 AI 生命周期，并将 HAII 在安全关键行业中针对用户和环境进行定制。
human-ai interactionsafety-critical industriesresearch best practicesuser characteristicsai-enabled systems
发现论文，激发创造
  • AI-Enabled 系统中用户信任的系统文献综述：以人机交互为视角

    对用户信任、影响因素和测量方法进行的 23 个实证研究的综述确认了定义信任的多种方法和用户特征对 AI 启用系统中的信任产生的影响等主题，从而为未来技术和设计策略、研究和举措提供了洞察。

    Apr, 2023

  • 系统安全和人工智能

    本章提出了七个防止人工智能系统造成伤害的课程，探讨了系统安全领域的见解，针对公共机构及基础设施中的新应用程序引发的新危害，阐述了诊断和消除新人工智能系统危害的共识缺失，并探讨了有效人工智能管理所需的跨学科方法和共享语言。

    Feb, 2022

  • 人工智能与人类交互中的信任：模型、度量和方法的概览

    这篇论文针对机器人、虚拟角色、智能车辆、决策帮助等各类 AI 系统中关于信任模型的应用和测量方法缺乏标准化的现状进行了概述和分析。作者提出了一些系统的研究目标，并为当前文献汇总的优点和缺点提供了解决方案和研究议程。

    Apr, 2022

  • 超越静态 AI 评估：推进人机交互评估对 LLM 的伤害和风险

    AI 系统的安全性、风险和社会影响的理解，以及人工智能与人类交互的模型评估，是本文的主题。我们讨论并实施了一种新兴评估方法 ——“人机交互评估”，将其运用于安全评估的有效性、直接人类影响和特定交互的危害，以及指导未来模型社会影响的评估。通过一个包含人 - LLM 交互分类的安全焦点的 HIE 设计框架，我们将其应用于两个潜在的过度依赖和说服风险评估，并提出对于 HIE 成本、可复制性和不代表性的担忧的切实建议。

    May, 2024

  • 人工智能在协同工作中可解释性和可接受性要求

    该论文探讨了需求透明度和可接受性以建立人类对 AI 的信赖感，具体介绍了开发者和最终用户在信息需求方面的差异以及信任在人工智能系统中的作用。

    Jun, 2023

  • 人本学习分析与教育中的人工智能：一项系统文献综述

    通过系统文献综述，本研究揭示了在基于人性化设计的学习分析和人工智能教育系统中，人性化设计的现状以及教育利益相关者对设计过程的参与程度、人机控制后平衡、以及安全可靠性和可信度的考虑程度，并在此基础上提出了设计和部署这些系统时需要在各个阶段谨慎平衡利益相关者参与、积极吸纳最终用户，尤其是学生的参与，以及在未来的人性化学习分析和人工智能教育系统中探索安全、可靠性和可信度原则的建议。

    Dec, 2023

  • 设计人工智能支持人类参与人工智能辅助决策的方法：基于系统综述的人工智能与人类互动分类

    人工智能在决策支持系统中的应用主要集中在技术进步方面，忽视了算法输出与人类期望的一致性。为了解决这个问题，可解释的人工智能提倡更加以人为中心的发展。为了更好地理解人与人工智能的交互，我们通过对 105 篇选定文章进行系统综述，提出了一种交互模式分类系统，以深入研究不同人机交互方式。通过对现有研究的分析发现，现有的交互方式主要是简单的合作模式，对于真正的交互功能的支持相对较少。我们的分类系统将有助于理解当前决策环境中人与人工智能的交互方式，并促进交互设计的有意选择。

    Oct, 2023

  • 人工智能决策的科学化：经验研究综述

    研究了人工智能辅助下的人类决策制定，结合超过 100 篇论文总结了该领域的三个重要方面，即决策任务、AI 模型和 AI 辅助元素以及评估指标并提出了未来研究建议，强调建立共同框架以促进人工智能和人机交互社区协作，形成推广的科学知识。

    Dec, 2021

  • 人类与自动化机器学习系统的角色和交互模式

    本文主要探讨在当前和未来的自动机器学习系统中，人与计算机交互如何发生（包括开发、部署和维护阶段的 HCI），不同类型的用户和利益相关方对 HCI 的期望是否存在差异，如何管理 HCI 以使自动机器学习获得人的信任和广泛接受，以及随着自动机器学习系统变得更加自主和学习能力增强，HCI 的基本特性是否会发生变化。研究关键领域包括自动化机器学习，人机交互，用户界面设计，人工智能信任等方面。

    May, 2022

  • 人工智能安全：一代新的生成式人工智能和控制系统安全的后裔

    泛人工智能与人类的互动达到了前所未有的规模，为巨大的积极影响提供了新途径，但也引发了广泛关注，担忧其对个体和社会可能造成的伤害。本文中，我们认为，对这些人工智能技术的有意义的安全保证只能通过思考人工智能输出与人类行为之间形成的反馈循环如何推动交互走向不同结果来实现。为此，我们设想了从控制论到人类中心的人工智能安全的快速增长能力之间的高价值契机，为未来几十年的人类中心人工智能安全奠定了新基础。

    May, 2024