深度学习不确定性工具包综述

ICLRMay, 2022

A Survey on Uncertainty Toolkits for Deep Learning

Maximilian Pintz, Joachim Sicking, Maximilian Poretschkin, Maram Akila

TL;DR本文第一次对用于深度学习中不确定性估计的工具包进行梳理，比较了 11 种工具包的模型和评估能力，最终推荐了 Pyro、Tensorflow Probability 和 Uncertainty Quantification 360 三种最有前景的工具包，提出了在保障模型可信度和可复现性方面进一步统一评估和保障方法论的必要性。

Abstract

The success of deep learning (DL) fostered the creation of unifying frameworks such as tensorflow or pytorch as much as it was driven by their creation in return. Having common building blocks facilitates the exchange of, e.g., models or concepts and makes developments easier replicabl

deep learning evaluation uncertainty estimation toolkits reliability

发现论文，激发创造

可靠的临床 AI 解决方案：深度学习模型中的不确定性量化在医学图像分析中的统一综述

该综述回顾了现有的用于量化深度学习模型预测不确定性的方法，并着重关注了医学图像分析中特有的挑战、评估方案以及不确定性量化在医疗领域中的开放性挑战。

Oct, 2022

机器学习与深度学习中不确定性的文献综述

该研究综述了机器学习中不确定性的来源、分类和度量方法，并讨论了不确定性对决策过程的影响。重点关注深度学习领域，提供了广泛范围的不确定性讨论和深度学习中的不确定性量化方法的最新综述。

Jun, 2024

不确定性工具箱：一个用于评估、可视化和改善不确定性量化的开源库

本文主要介绍了一种名为 Uncertainty Toolbox 的开源 Python 工具库，该库旨在协助评估、可视化和改进在机器学习中的不确定性计量（UQ）。 Uncertainty Toolbox 不仅提供教学资源，例如重点词汇表和重要论文引用的组织集合，也有助于加速和整合应用在机器学习中的不确定性计量研究。

Sep, 2021

决策的不确定性推理与量化综述：信念理论遇上深度学习

本论文调查了信念理论在深度学习中的应用及其局限性，并提出了未来的研究方向。

Jun, 2022

神经网络不确定性估计在分类问题中的质量比较

对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

Aug, 2023

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Jun, 2023

哪些模型天生就擅长不确定性估计？

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

自主车应用深度学习部件不确定性估计方法比较

本文研究了自主车辆在安全关键任务中使用神经网络时，面临的不可避免的误差问题，并给出了一些用于评估这种不确定性的方法和指标，比较了各种不确定性量化方法在特定 AV 任务和类型的优劣。

Jun, 2020

重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

Mar, 2019

不确定性基线：深度学习中的不确定性与鲁棒性基准

本文介绍了 Uncertainty Baselines，这是一个包括 19 个方法在 9 个任务上的高质量实现，以提供对不同方法进行比较的立即出发点，每个基线都是一个自包含的实验流水线，易于重用和扩展，同时提供模型检查点、实验输出和排行榜以比较结果。

Jun, 2021