Jan, 2023

认知知识的认识：人类能力的错觉会妨碍对人工智能系统的适当依赖

PDF
TL;DR本文通过实证研究（N = 249），探讨了 DKE 是否会影响人们适当地依赖 AI 系统，以及探讨这种影响是否可以通过教程干预和利用基于逻辑单元的解释来缓解。我们发现，自我高估的参与者往往会表现出对 AI 系统的不足依赖，这阻碍了最佳团队表现。然而，教程干预对于高估自我评估的参与者来说非常有效，可以帮助他们校准自我评估并促进适当的依赖。本研究对设计解决用户认知偏差、促进在 AI 系统上适当依赖的方法具有广泛的启示性意义。
发现论文，激发创造
  • AI 辅助决策中依赖行为和准确性的相互依存性

    本文分析了 AI 辅助决策中人类对模型建议过度或不足的倾向对准确性的影响，并提出了一个可视化框架以帮助比较和解释实证结果和干预策略。

    Apr, 2023

  • 解释可减少决策中对 AI 系统的过度依赖

    本文探讨了人类和人工智能决策团队的过度依赖现象，提出了一种基于成本效益框架的策略模型来平衡 AI 解释带来的成本和效益，证明了在某些情况下 AI 解释可降低过度依赖。

    Dec, 2022

  • 衡量人工智能依赖性的统计框架

    通过提出一种统计决策理论为基础的可靠性的正式定义，将研究中对合理依赖的定义与人工智能系统准确预测的信号区分和形成准确信念所面临的挑战分离，为人工智能与人类之间的互补性研究提供了一个可以指导设计和解释的框架。

    Jan, 2024

  • 人的直觉在人工智能决策中的依赖作用及其解释

    此研究探讨了决策者对于任务预测和解释的一些直觉，发现了三种类型的直觉：关于任务结果、特征和 AI 限制。此外，该研究还通过两种类型的解释，探索了决策者如何运用自己的直觉来决定是否应该依赖 AI 预测，并发现了三条决策者运用自己直觉的路径。研究表明，AI 解释并不能总是提高决策者的决策效果并可能提高其对 AI 的过度依赖，但使用基于示例的解释则可能有助于完善人工智能的表现。

    Jan, 2023

  • AI 与自我，应该信任谁？运用人工智能和人类正确性可能来促进正确的信任，以助于决策

    该研究针对 AI 辅助决策中人类决策者何时应该信任 AI，何时应该信任自己的问题，提出了基于任务实例级别的双方正确概率计算及三种信任校准策略，并进行了两项初步研究和一项比较实验，结果表明该方案的效果显著提高了人类对 AI 的适当信任，为更人性化的 AI 决策提供了实用意义。

    Jan, 2023

  • 自信和缺乏自信的 AI 妨碍人工智能合作

    研究人工智能在人类协作中的表现和对人类信任、接受建议以及协作结果的影响，揭示了披露人工智能表达的信心水平和性能反馈有助于更好地识别信心不一致，但参与者往往会因此减少信任，拒绝人工智能建议，导致协作任务表现更差，这为提高人工智能与人类的协作提供了有价值的见解。

    Feb, 2024

  • 迷失于能力中：评估解释对用户对视觉问答系统的心智模型的影响

    我们研究了当一个 AI 系统遇到一项不能完美执行的任务时，用户如何看待其限制，并且提供解释是否有助于用户构建系统能力和限制的适当心理模型。通过控制视觉输入，在视觉问答解释任务中，我们操控 AI 系统的限制：在推理过程中，该系统可以处理全彩色或灰度图像。我们的目标是确定参与者是否能够察觉到该系统的限制。我们假设解释会使有限的 AI 能力对用户更加透明。然而，我们的研究结果显示解释没有这种效果。与其实际表现无关，解释通常会增加用户对系统能力的认知。

    Jun, 2024

  • 提升有效人工智能决策：人类学习在正确依靠人工智能建议中的角色

    人工智能和人类协作的真正潜力在于利用人类和人工智能的互补能力，实现超越个体人工智能或人类的联合绩效，即实现互补团队绩效 (CTP)。本研究通过 100 位参与者的实验展示了学习与适当依赖之间的关系，为分析依赖和有效设计人工智能决策提供了基础概念。

    Oct, 2023

  • 应该遵循基于 AI 的建议吗？衡量人工智能决策中的适当依赖

    本文针对人工智能顾问给出的建议存在问题的问题展开讨论，提出了适当依赖（AR）的概念及其度量方法。

    Apr, 2022

  • 训练至关重要的用途：学习将 AI 预测定位于人类知识的相对位置

    本文介绍了一个过程导向的适当依赖概念，称为关键使用，通过将人类的能力与 AI 模型无法获取的知识相对比，以帮助人们辅助 AI 决策时的判断。通过在一个复杂的社会决策环境下进行随机在线实验来探索如何支持关键使用的训练，我们发现通过在这种情况下为参与者提供加速的、低成本的机会来练习 AI 辅助决策，新手参与者开始表现出与经验工作者相似的与 AI 不一致的模式。参与者对其 AI 辅助决策的解释的定性研究表明，他们参考了 AI 模型无法获取的定性案例叙述，以学习何时（不）依赖 AI 预测。我们的研究结果为实现真实世界的 AI 辅助决策的培训提出了新的问题和设计思路。

    Aug, 2023