人工智能监督及人为失误:中央法庭的证据
使用基于人工智能的方法来决定超时赛,通过比较选手实际走步与最佳走步的评估价值来进行判决,在所有竞技体育和 AI 巨头已经确认其优越性的游戏中都可以推广使用。
Oct, 2022
本文通过机构分析探讨了人工智能对临床决策监督的影响,发现现有监督基于专业人员的训练要求和问询等方式,而 AI 系统的部署将影响监督的各个维度,因此建议采用 “团队在环” 等更宽泛的视角来理解高风险公共部门部署中所需的系统级分析。
Mar, 2023
该研究探讨了算法工具在儿童虐待热线筛选决策方面的应用,结果显示人类对机器的建议进行了更改,缺乏自主权的全自动化决策管道存在风险。
Feb, 2020
通过实验研究,本文揭示了人工监督、规范设计和激励机制对数据质量和成本的影响,强调数据质量与效率之间的权衡关系,并为讨论人工智能技术的经济、伦理和法律考虑方面提供了实验性见解。
Dec, 2023
此研究探讨了决策者对于任务预测和解释的一些直觉,发现了三种类型的直觉:关于任务结果、特征和 AI 限制。此外,该研究还通过两种类型的解释,探索了决策者如何运用自己的直觉来决定是否应该依赖 AI 预测,并发现了三条决策者运用自己直觉的路径。研究表明,AI 解释并不能总是提高决策者的决策效果并可能提高其对 AI 的过度依赖,但使用基于示例的解释则可能有助于完善人工智能的表现。
Jan, 2023
本文主张人工智能系统需要模拟、理解、甚至复制人类的认知偏差,在人机协作中扮演更加重要的角色,并提出了关于人类认知偏差和人工智能之间相互作用的研究议程及三个感兴趣的广泛领域,并为具有更好对人类偏见的人工智能系统的设计方向提出了研究方向。
Oct, 2022
基于数据驱动算法的人工智能在当今社会中已普遍应用,但在许多情况下,尤其是当风险较高时,人类仍然作出最终决策。本研究引入了一种新的方法框架,可用于在无额外假设的情况下实验性地回答这个问题。我们采用标准分类指标来衡量决策者做出正确决策的能力,通过单盲实验设计随机对案例进行人工智能生成的建议,并由人类作出最终决策,我们比较了三种可选的决策系统的表现:单独人类、人类辅助人工智能和单独人工智能。对我们自己进行的随机对照试验中的数据应用了提出的方法论,发现人工智能建议并没有提高法官决定是否强制缴纳保释金的分类准确性。分析还表明,单独人工智能的决策通常比人类决策(无论是否辅助人工智能)表现更差。最后,相比白人被捕者,在对非白人被捕者的针对性保释方面,人工智能建议往往不必要地更频繁地强制缴纳保释金。
Mar, 2024
研究人工智能在人类协作中的表现和对人类信任、接受建议以及协作结果的影响,揭示了披露人工智能表达的信心水平和性能反馈有助于更好地识别信心不一致,但参与者往往会因此减少信任,拒绝人工智能建议,导致协作任务表现更差,这为提高人工智能与人类的协作提供了有价值的见解。
Feb, 2024
本文通过实证研究(N = 249),探讨了 DKE 是否会影响人们适当地依赖 AI 系统,以及探讨这种影响是否可以通过教程干预和利用基于逻辑单元的解释来缓解。我们发现,自我高估的参与者往往会表现出对 AI 系统的不足依赖,这阻碍了最佳团队表现。然而,教程干预对于高估自我评估的参与者来说非常有效,可以帮助他们校准自我评估并促进适当的依赖。本研究对设计解决用户认知偏差、促进在 AI 系统上适当依赖的方法具有广泛的启示性意义。
Jan, 2023
本文探讨了人类和人工智能决策团队的过度依赖现象,提出了一种基于成本效益框架的策略模型来平衡 AI 解释带来的成本和效益,证明了在某些情况下 AI 解释可降低过度依赖。
Dec, 2022