Jan, 2024
评估基于变换预测集的AI辅助图像标注的实用性
Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image
Labeling
TL;DR在高风险领域中部署深度神经网络时,由于缺乏可解释性,不确定性量化变得具有挑战性。本文通过大规模预注册实验,比较了使用符合性预测集合与Top-1和Top-k预测展示相比在AI辅助图像标注中表现的优势,并发现对易任务来说,预测集合与Top-1和Top-k展示的准确性相当或略少,但在标记超出分布范围的图像时,特别是当集合大小较小时,预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战,并提供了将其纳入实际决策制定的启示。