Jul, 2024
何时接受自动预测,何时退而让人类判断?
When to Accept Automated Predictions and When to Defer to Human
Judgment?
TL;DR确保自动决策的可靠性和安全性至关重要。本文提出了一种衡量分布位移下预测可靠性的新方法,通过聚类分析训练的神经网络输出的变化来衡量输出与类别中心之间的距离,并将该距离作为评估预测置信度的度量。在MNIST和CIFAR-10数据集上使用卷积神经网络和Vision Transformer进行评估,结果表明该方法在这些数据集和网络模型上是一致的,且所提出的度量方法能有效判断在分布位移下何时自动预测是可接受的以及何时应该交由人工操作员处理。