Oct, 2023

UncertaintyPlayground：一种用于快速和简化的不确定性估计的 Python 库

PDF
TL;DR介绍了 UncertaintyPlayground，这是一个建立在 PyTorch 和 GPyTorch 上的 Python 库，用于在监督学习任务中进行不确定性估计。该库通过稀疏和变分高斯过程回归 (SVGPRs) 用于正态分布输出以及混合密度网络 (MDN) 用于混合分布，提供了高斯和多模态结果分布的快速训练。此外，UncertaintyPlayground 可以使用不同的超参数进行模型训练，并可视化一个或多个实例的预测区间。通过使用张量操作，该库可以在 CPU 和 GPU 上进行训练，并提供了针对 PyTorch 的各种速度优化技术。该库包含每个模块的单元测试，并确保与 GitHub Workflows（在线集成）和 Tox（本地集成）进行多平台持续集成。最后，该代码用 Google 风格的文档字符串进行了文档化，并提供了使用 MkDocs 和 MkDocStrings 创建的文档网站。
发现论文，激发创造
  • 不确定性工具箱：一个用于评估、可视化和改善不确定性量化的开源库

    本文主要介绍了一种名为 Uncertainty Toolbox 的开源 Python 工具库，该库旨在协助评估、可视化和改进在机器学习中的不确定性计量（UQ）。 Uncertainty Toolbox 不仅提供教学资源，例如重点词汇表和重要论文引用的组织集合，也有助于加速和整合应用在机器学习中的不确定性计量研究。

    Sep, 2021

  • 通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力

    提出一种简单的方法，将神经网络和高斯过程相结合，以更好地估计输出的不确定性和提高模型的泛化性能，并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明，该方法在两个时空数据集上均表现出优异的性能。

    Jul, 2017

  • 深度学习不确定性工具包综述

    本文第一次对用于深度学习中不确定性估计的工具包进行梳理，比较了 11 种工具包的模型和评估能力，最终推荐了 Pyro、Tensorflow Probability 和 Uncertainty Quantification 360 三种最有前景的工具包，提出了在保障模型可信度和可复现性方面进一步统一评估和保障方法论的必要性。

    May, 2022

  • 通过高斯过程回归代理进行时间序列预测的不确定性估计

    本研究提出了一种基于替代高斯过程模型的新的不确定性估计方法，能够为任何基础模型提供准确的不确定性估计，并证明该方法在时序预测数据方面比基于引导的方法在中小型数据区域和不同系列的基础模型，包括线性回归，ARIMA 和梯度提升中提供更准确的置信区间。

    Feb, 2023

  • 粒子加速器的不确定性感知深度学习

    使用深度高斯过程逼近（DGPA）方法，我们对萨帕腾中子源（SNS）加速器的错误光束预测（分类）进行了研究，并为费米国家加速器实验室（FNAL）助推器加速器复合物（回归）提供了一个具有不确定性感知的代理模型。

    Sep, 2023

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 使用函数变分推断实现计算机视觉中的可扩展不确定性

    本文提出一种基于变分推断的高维深度学习不确定性量化方法，使用高斯过程将贝叶斯卷积神经网络先验和变分族相结合，为任意有监督的学习任务提供了预测不确定性估计，同时提供了快速训练的方法。此外，该文还提供了构建回归损失函数的充分条件，使其概率对应物与 aleatoric 不确定性量化相容。

    Mar, 2020

  • 图学习的不确定性量化：一项综述

    对图形模型中的不确定性进行量化的最新方法进行了概述，并将其组织为不确定性表示和处理方法，以加深对图形模型中不确定性量化方法的理解，从而提高其在关键应用中的效果和安全性。

    Apr, 2024

  • ScatterUQ：面向多类深度学习问题的交互式不确定性可视化

    近期，发展了一种针对多类别标注问题的不确定性感知深度学习方法，提供了校准的类别预测概率和超出分布的指示，从而使机器学习用户和工程师能够评估模型对其预测的信心。为了解决这些挑战，我们提出了 ScatterUQ，一个交互式系统，通过提供有针对性的可视化方式，使用户能够更好地理解模型在上下文驱动的不确定性环境中的性能。通过利用最近在距离感知神经网络和降维技术方面取得的进展，ScatterUQ 构建了强大的二维散点图，解释模型为什么将一个测试样例预测为（1）属于某个类别的内部分布中的样例，（2）属于某个类别的内部分布中的样例，但对类别不确定，以及（3）属于外部分布的样例。机器学习用户和工程师可以通过使用 “悬停回调” 来直观比较测试样本的显著特征与训练样本，以理解模型的不确定性性能，并决定后续行动。我们通过针对 Fashion-MNIST 训练的距离感知神经网络在 Fashion-MNIST（内部分布）和 MNIST 数字（外部分布）上进行多类别图像分类的案例和针对网络数据集的深度学习模型进行了验证。我们定量评估了降维技术以优化我们的上下文驱动 UQ 可视化。我们的结果表明，ScatterUQ 系统可以适用于任意的多类别数据集。我们的代码可以在此 https URL 上获得。

    Aug, 2023

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019