Jan, 2024

第二意见对人工智能辅助决策的影响

PDF
TL;DR通过三个预先注册的、随机的人类主体实验，我们探讨了 {第二意见} 的提供是否会影响决策者在人工智能辅助决策中的行为和表现，并且发现如果人工智能模型的决策建议和第二意见总是一起呈现，决策者会减少对人工智能的过度依赖，同时增加对人工智能的不足依赖，而无论第二意见是由同行还是另一个人工智能模型生成。然而，如果决策者有决定何时请教同行意见的控制权，则我们发现他们积极征求第二意见的行为在某些情况下有可能减轻对人工智能的过度依赖，而不引起不足依赖的增加。通过讨论我们的发现对促进有效的人工智能辅助决策中的人机协作的影响，我们得出结论。
ai assistancehuman-ai collaborationsecond opinionsdecision-makingover-reliance
发现论文，激发创造
  • 无论原因，对健康相关询问的 AI 事实核查与 AI 权威

    我们研究了用户在评估健康相关陈述的真实性时，对人工智能建议接受行为的探索性评估。我们发现，即使仅仅是 “AI 认为该陈述为真实 / 虚假” 的反馈，也会导致超过一半的用户将其陈述真实性评估移向 AI 建议。给出不同类型的建议会影响接受率，但仅仅得到建议本身的影响通常比建议类型的影响更大。

    Oct, 2023

  • 学习何时向人类决策者提供建议

    通过对已有的案例进行分析，本文提出了交互式人工智能决策辅助系统的设计，旨在通过学习人类的选择来决定何时提供算法支持，从而提高决策的准确性和可靠性。作者在美国刑事司法系统的前期释放审判方面进行了大规模实验，并发现交互式辅助系统能够在必要的时候提供准确的建议，与固定的非交互式系统相比较，可以显著提高人类的决策水平。同时，交互式辅助系统还具有促进人类学习、保护人类决策者补充优势、促进对建议的更积极响应等优点。

    Sep, 2022

  • AI 辅助决策中依赖行为和准确性的相互依存性

    本文分析了 AI 辅助决策中人类对模型建议过度或不足的倾向对准确性的影响，并提出了一个可视化框架以帮助比较和解释实证结果和干预策略。

    Apr, 2023

  • 人工智能是否帮助人类做出更好的决策？一种实验评估的方法论框架

    基于数据驱动算法的人工智能在当今社会中已普遍应用，但在许多情况下，尤其是当风险较高时，人类仍然作出最终决策。本研究引入了一种新的方法框架，可用于在无额外假设的情况下实验性地回答这个问题。我们采用标准分类指标来衡量决策者做出正确决策的能力，通过单盲实验设计随机对案例进行人工智能生成的建议，并由人类作出最终决策，我们比较了三种可选的决策系统的表现：单独人类、人类辅助人工智能和单独人工智能。对我们自己进行的随机对照试验中的数据应用了提出的方法论，发现人工智能建议并没有提高法官决定是否强制缴纳保释金的分类准确性。分析还表明，单独人工智能的决策通常比人类决策（无论是否辅助人工智能）表现更差。最后，相比白人被捕者，在对非白人被捕者的针对性保释方面，人工智能建议往往不必要地更频繁地强制缴纳保释金。

    Mar, 2024

  • 第二决策者的警报：人工智能冲突简介

    这篇论文系统地介绍了人工智能与人类协作时可能出现的观察、解释和行动上的冲突，包括其潜在风险、测量方法、影响因素，并强调了这是一个正在崛起的风险领域，需要与传统的故障和失效分析区分开来。

    May, 2023

  • 应该遵循基于 AI 的建议吗？衡量人工智能决策中的适当依赖

    本文针对人工智能顾问给出的建议存在问题的问题展开讨论，提出了适当依赖（AR）的概念及其度量方法。

    Apr, 2022

  • 推进人工智能和人类互补性：用户专业知识和算法调优对共同决策的影响

    研究了用户与三个模拟算法模型的交互，发现较低水平的用户虽然能从 AI 建议中受益，但是他们的决策水平却没能达到 AI 的精度，高水平用户则通常能辨别何时应该遵循 AI 建议并保持或提高其性能，而中等水平者则最不稳定，AI 建议会对其性能产生帮助或伤害，此外，用户对 AI 性能的感知也对决策的精度影响非常大。该研究提供了关于人工智能协作相关复杂因素的见解，并提出了如何开发以人为本的人工智能算法以辅助用户在决策任务中的建议。

    Aug, 2022

  • 自信和缺乏自信的 AI 妨碍人工智能合作

    研究人工智能在人类协作中的表现和对人类信任、接受建议以及协作结果的影响，揭示了披露人工智能表达的信心水平和性能反馈有助于更好地识别信心不一致，但参与者往往会因此减少信任，拒绝人工智能建议，导致协作任务表现更差，这为提高人工智能与人类的协作提供了有价值的见解。

    Feb, 2024

  • 人工智能工作流程对临床影像决策的影响：谁先行动？

    本文探讨了 AI 技术在人类辅助诊断中的应用以及如何设计合适的工作流程来整合人与 AI 的协同工作，通过开展用户研究，概述了 AI 呈现时间对人 - AI 团队性能和协议的影响，总结了在人 - AI 协作过程中遇到的问题以及 AI 工具开发中需考虑的事项。

    May, 2022

  • 人工智能协作：AI 委派对人类任务执行和满意度的影响

    在一项 196 名参与者的实验研究中，我们发现，无论人类是否意识到辅助作业的人工智能模型，通过代理任务来协同完成工作可以提高任务的表现和满意度，同时提高自我效能感，这为 AI 担负更多的管理责任是人 - AI 协作的有效形式提供了初步证据。

    Mar, 2023