最准确的 AI 是否是最好的队友?优化 AI 以促进团队合作
探讨了使用 AI 辅助决策时,人工智能的预测性能与偏差如何对人类决策产生影响的复杂动态,并通过大规模用户研究发现,高性能的模型显著提高了人类在混合环境中的表现,但有些模型削弱了混合偏见,有些则加重了混合偏见。这些研究结果表明,预先评估这些复杂动态对于部署人工智能具有明确的必要性。
Feb, 2022
研究了 AI 系统更新对人类决策的影响,提出了兼容性的概念并指出了现有机器学习算法无法产生兼容的更新,因此提出了一种重新训练的目标,以改善更新的兼容性和准确性的平衡。
Jun, 2019
研究了用户与三个模拟算法模型的交互,发现较低水平的用户虽然能从 AI 建议中受益,但是他们的决策水平却没能达到 AI 的精度,高水平用户则通常能辨别何时应该遵循 AI 建议并保持或提高其性能,而中等水平者则最不稳定,AI 建议会对其性能产生帮助或伤害,此外,用户对 AI 性能的感知也对决策的精度影响非常大。该研究提供了关于人工智能协作相关复杂因素的见解,并提出了如何开发以人为本的人工智能算法以辅助用户在决策任务中的建议。
Aug, 2022
本研究在人机合作游戏 Hanabi 中单盲评估了基于规则和基于学习的人工智能代理团队。结果表明,尽管两种团队在比赛得分上没有显著差异,但在案例理解性、信任度和总体偏好等主观评估指标上,人类普遍更喜欢基于规则的人工智能伙伴(SmartBot)而不是最先进的基于学习的人工智能伙伴(Other-Play),这对未来的人工智能设计和加强学习基准测试具有启示作用。
Jul, 2021
研究表明,当涉及到风险元素和评估人类和 AI 代理能力的探索利用过程时,人工智能和人类在小组决策方面具有互补技能。本文面向一组带有缺陷的 AI 代理人,向人类团队提交一系列智力问题,以评估团队成员和可用 AI 代理人的相对专业知识,评估不同行动的风险并通过达成共识来最大化整体回报,并提出了人工智能 - 人类团队决策的模型。研究验证了在不确定情况下的人工智能团队和人类行为预测中的前景理论、影响动态和贝叶斯学习的社会认知构建的价值。
Jan, 2022
通过使用一种标准的强化学习方案以及经理人的学习,我们提出了一种能够改善混合团队(即人类与人工智能系统共同工作的团队)性能的方法,并展示了这个经理人在多个格子环境下的最优表现。
Mar, 2024
研究表明,仅当 AI 单独胜过人类和最佳团队时,AI 解释才能提高人类 - AI 团队在决策任务上的表现。本研究通过三个数据集上的混合法用户研究发现,AI 表现增强是有可能提高团队准确性的,但并非由于解释的作用,而是由于解释能提高人类对 AI 建议的接受率,进而鼓励恰当的信任和生成更好的绩效。
Jun, 2020
在高精准性和高时效性的情境中,为了医生在急诊室等场合提供既提高准确性又缩短用时的 AI 辅助,本文提出通过根据问题和用户的不同属性,适应性的选择 AI 辅助类型来平衡目标的研究,并在用医生为外星人开具药品做实验得出需要适应性的 AI 辅助类型,适应性可以在准确性和用时间做良好的权衡,最后进一步研究可以考虑使用机器学习算法(如强化学习)来自动更快地适应。
Jun, 2023
研究通过计算建模和优化技术,提升人工智能与人类队伍的协同性能,其中人类和机器智能代理由于环境知识不完整而发挥亚最优能力,并采用在线贝叶斯方法推断人们愿意接受机器的协助,实验结果显示协作方式与团队性能、用户信任和对机器的好感度存在显著关联。
Mar, 2024