Dec, 2023
人工智能与人类协作及认知信任的差异量化
Quantifying Divergence for Human-AI Collaboration and Cognitive Trust
Müge Kural, Ali Gebeşçe, Tilek Chubakov, Gözde Gül Şahin
TL;DR预测协作可能性和衡量对人工智能系统的认知信任比以往任何时候都更加重要。为了解决这个问题，我们提出了几种基于分歧度量（如 KL，JSD）的决策相似度度量方法，这些方法通过对人类获取的标签和各种模型所得到的标签进行计算。我们在一个文本蕴涵任务上进行了用户研究，用户被提供了来自各种模型的软标签，并被要求选择与他们最接近的选项。然后，用户看到了与他们最相似的模型的相似性 / 差异，并被询问他们对所选择系统的协作可能性和认知信任的看法。最后，我们对提出的决策相似度度量方法与调查结果之间的关系进行了定性和定量分析。我们发现人们倾向于与他们最相似的模型进行协作（通过 JSD 来衡量），然而这种协作并不一定意味着相似的认知信任水平。我们在我们的资源库中发布了与用户研究（如设计，输出）、模型和度量有关的所有资源。