Aug, 2023
ScatterUQ：面向多类深度学习问题的交互式不确定性可视化
ScatterUQ: Interactive Uncertainty Visualizations for Multiclass Deep Learning Problems
Harry Li, Steven Jorgensen, John Holodnak, Allan Wollaber
TL;DR近期，发展了一种针对多类别标注问题的不确定性感知深度学习方法，提供了校准的类别预测概率和超出分布的指示，从而使机器学习用户和工程师能够评估模型对其预测的信心。为了解决这些挑战，我们提出了 ScatterUQ，一个交互式系统，通过提供有针对性的可视化方式，使用户能够更好地理解模型在上下文驱动的不确定性环境中的性能。通过利用最近在距离感知神经网络和降维技术方面取得的进展，ScatterUQ 构建了强大的二维散点图，解释模型为什么将一个测试样例预测为（1）属于某个类别的内部分布中的样例，（2）属于某个类别的内部分布中的样例，但对类别不确定，以及（3）属于外部分布的样例。机器学习用户和工程师可以通过使用 “悬停回调” 来直观比较测试样本的显著特征与训练样本，以理解模型的不确定性性能，并决定后续行动。我们通过针对 Fashion-MNIST 训练的距离感知神经网络在 Fashion-MNIST（内部分布）和 MNIST 数字（外部分布）上进行多类别图像分类的案例和针对网络数据集的深度学习模型进行了验证。我们定量评估了降维技术以优化我们的上下文驱动 UQ 可视化。我们的结果表明，ScatterUQ 系统可以适用于任意的多类别数据集。我们的代码可以在此 https URL 上获得。