AI 辅助教育中任务难度的揭示
本文研究了人工智能与人类交互中的感知难度,探讨了如何确切地评估每个代理人的能力,并提出了一种实验设计,以全面检验两个代理人的感知难度,为更好地设计这样的系统做出贡献。
Apr, 2023
我们研究了当一个 AI 系统遇到一项不能完美执行的任务时,用户如何看待其限制,并且提供解释是否有助于用户构建系统能力和限制的适当心理模型。通过控制视觉输入,在视觉问答解释任务中,我们操控 AI 系统的限制:在推理过程中,该系统可以处理全彩色或灰度图像。我们的目标是确定参与者是否能够察觉到该系统的限制。我们假设解释会使有限的 AI 能力对用户更加透明。然而,我们的研究结果显示解释没有这种效果。与其实际表现无关,解释通常会增加用户对系统能力的认知。
Jun, 2024
本研究通过在线实验和现场思考研究评估了两种当前常用的 XAI 系统评估技术,并发现代理任务和主观度量在实际决策任务中均未能预测评估结果,这表明当前的评估方法可能错误地拖慢了我们开发可靠执行出色的人工智能与人类团队的进步。
Jan, 2020
本文通过实证研究(N = 249),探讨了 DKE 是否会影响人们适当地依赖 AI 系统,以及探讨这种影响是否可以通过教程干预和利用基于逻辑单元的解释来缓解。我们发现,自我高估的参与者往往会表现出对 AI 系统的不足依赖,这阻碍了最佳团队表现。然而,教程干预对于高估自我评估的参与者来说非常有效,可以帮助他们校准自我评估并促进适当的依赖。本研究对设计解决用户认知偏差、促进在 AI 系统上适当依赖的方法具有广泛的启示性意义。
Jan, 2023
本文介绍了利用深度强化学习提供个性化教育支持的方法,通过解释人工智能工具来提取可解释的教育策略。结果表明,该策略对于那些最需要支持的学生有最大的益处。
Apr, 2023
在一项 196 名参与者的实验研究中,我们发现,无论人类是否意识到辅助作业的人工智能模型,通过代理任务来协同完成工作可以提高任务的表现和满意度,同时提高自我效能感,这为 AI 担负更多的管理责任是人 - AI 协作的有效形式提供了初步证据。
Mar, 2023
本研究通过一般目的的人工智能 - 人类交互方式,定量测量了 AI 推荐对人类决策的影响,从而代表了人类对 AI 的信任程度,该范例可定量比较 XAI/IAI 方法对最终用户的影响,打开了学习信任的 (机器) 可能性。
Feb, 2022
本研究提出了一种基于项目反应理论的框架来模拟人们对人工智能队友的感知,并使用实验数据测试研究问题,结果表明人们对人工智能代理的性能期望显著高于其他人,并具有更小的问题类型差异。
May, 2023
研究了深度学习模型性能评估中忽略的数据点特征和难度对测试集准确性的影响,通过用已有的心理测量学方法对人类的反应模式进行建模来估计难度,实验结果发现难度对于测试的结果有重要影响,同时易于学习的实例被模型学得更快。
Feb, 2017