应该遵循基于 AI 的建议吗?衡量人工智能决策中的适当依赖
通过提出一种统计决策理论为基础的可靠性的正式定义,将研究中对合理依赖的定义与人工智能系统准确预测的信号区分和形成准确信念所面临的挑战分离,为人工智能与人类之间的互补性研究提供了一个可以指导设计和解释的框架。
Jan, 2024
本研究提出了适当性依赖度 (AoR) 作为量化的二维度量概念,通过分析提供 AI 建议的解释对适当依赖度的影响进行实验,为分析依赖行为和 AI 建议者的有目的设计提供了基本概念。
Feb, 2023
通过对已有的案例进行分析,本文提出了交互式人工智能决策辅助系统的设计,旨在通过学习人类的选择来决定何时提供算法支持,从而提高决策的准确性和可靠性。作者在美国刑事司法系统的前期释放审判方面进行了大规模实验,并发现交互式辅助系统能够在必要的时候提供准确的建议,与固定的非交互式系统相比较,可以显著提高人类的决策水平。同时,交互式辅助系统还具有促进人类学习、保护人类决策者补充优势、促进对建议的更积极响应等优点。
Sep, 2022
考虑到人对人工智能建议的忽视以及人工智能在最相关时刻有选择性地提供建议的需要,本文提出了一个顺序决策模型,该模型考虑到人的依附水平并引入了一个推迟选项,以便机器能够暂时不提供建议,并提供了能够学习最佳建议政策并仅在关键时间点提供建议的学习算法。与通用强化学习算法相比,我们的专门化学习算法不仅具有更好的理论收敛性能,而且表现出强大的实证性能。
Oct, 2023
人工智能和人类协作的真正潜力在于利用人类和人工智能的互补能力,实现超越个体人工智能或人类的联合绩效,即实现互补团队绩效 (CTP)。本研究通过 100 位参与者的实验展示了学习与适当依赖之间的关系,为分析依赖和有效设计人工智能决策提供了基础概念。
Oct, 2023
该研究针对 AI 辅助决策中人类决策者何时应该信任 AI,何时应该信任自己的问题,提出了基于任务实例级别的双方正确概率计算及三种信任校准策略,并进行了两项初步研究和一项比较实验,结果表明该方案的效果显著提高了人类对 AI 的适当信任,为更人性化的 AI 决策提供了实用意义。
Jan, 2023
基于数据驱动算法的人工智能在当今社会中已普遍应用,但在许多情况下,尤其是当风险较高时,人类仍然作出最终决策。本研究引入了一种新的方法框架,可用于在无额外假设的情况下实验性地回答这个问题。我们采用标准分类指标来衡量决策者做出正确决策的能力,通过单盲实验设计随机对案例进行人工智能生成的建议,并由人类作出最终决策,我们比较了三种可选的决策系统的表现:单独人类、人类辅助人工智能和单独人工智能。对我们自己进行的随机对照试验中的数据应用了提出的方法论,发现人工智能建议并没有提高法官决定是否强制缴纳保释金的分类准确性。分析还表明,单独人工智能的决策通常比人类决策(无论是否辅助人工智能)表现更差。最后,相比白人被捕者,在对非白人被捕者的针对性保释方面,人工智能建议往往不必要地更频繁地强制缴纳保释金。
Mar, 2024
本文介绍了一个过程导向的适当依赖概念,称为关键使用,通过将人类的能力与 AI 模型无法获取的知识相对比,以帮助人们辅助 AI 决策时的判断。通过在一个复杂的社会决策环境下进行随机在线实验来探索如何支持关键使用的训练,我们发现通过在这种情况下为参与者提供加速的、低成本的机会来练习 AI 辅助决策,新手参与者开始表现出与经验工作者相似的与 AI 不一致的模式。参与者对其 AI 辅助决策的解释的定性研究表明,他们参考了 AI 模型无法获取的定性案例叙述,以学习何时(不)依赖 AI 预测。我们的研究结果为实现真实世界的 AI 辅助决策的培训提出了新的问题和设计思路。
Aug, 2023
我们研究了用户在评估健康相关陈述的真实性时,对人工智能建议接受行为的探索性评估。我们发现,即使仅仅是 “AI 认为该陈述为真实 / 虚假” 的反馈,也会导致超过一半的用户将其陈述真实性评估移向 AI 建议。给出不同类型的建议会影响接受率,但仅仅得到建议本身的影响通常比建议类型的影响更大。
Oct, 2023