Jan, 2024
评估人类决策的实验的决策理论基础
Decision Theoretic Foundations for Experiments Evaluating Human Decisions
Jessica Hullman, Alex Kale, Jason Hartline
TL;DR决策与信息展示是可解释人工智能、人工智能与人类协作以及数据可视化等领域的研究重点。然而，何为决策问题以及为何需要实验来得出人类决策存在某种缺陷的结论，这些问题仍然存在争议。我们提出了一种广泛适用的决策问题定义，结合了统计决策理论和信息经济学。我们认为，要将人类表现中的损失归因于偏见形式，实验必须向参与者提供一个理性代理人所需的信息，以识别规范决策。我们评估了近期关于人工智能辅助决策的决策研究评估在多大程度上满足这一标准。我们发现，在 35 项声称发现存在偏见行为的研究中，只有 6 项（17%）为参与者提供足够的信息来表征其行为与良好决策制定有所偏离。通过描述性能损失的特征，我们阐述了研究明确定义的决策问题的价值，并对问题表述不清晰的决策问题的模糊性进行了对比，这限制了规范的解释。最后，我们给出了一些建议以促进实践。