DAUX: 一种基于密度的不确定性解释方法

Jul, 2022

DAUX: 一种基于密度的不确定性解释方法

DAUX: a Density-based Approach for Uncertainty eXplanations

Hao Sun, Boris van Breugel, Jonathan Crabbe, Nabeel Seedat, Mihaela van der Schaar

TL;DR本文介绍了一种解释不确定性量化模型的方法 —— 混淆密度矩阵，用于将现有 UQ 方法识别出的可疑样本分成三类，并通过实验证明了该框架能够利用分类后的样本来提高预测性能。

Abstract

uncertainty quantification (UQ) is essential for creating trustworthy machine learning models. Recent years have seen a steep rise in uq methods that can flag suspicious examples, however, it is often unclear wha

uncertainty quantification machine learning models uq methods confusion density matrix predictive performance

发现论文，激发创造

ScatterUQ：面向多类深度学习问题的交互式不确定性可视化

近期，发展了一种针对多类别标注问题的不确定性感知深度学习方法，提供了校准的类别预测概率和超出分布的指示，从而使机器学习用户和工程师能够评估模型对其预测的信心。为了解决这些挑战，我们提出了 ScatterUQ，一个交互式系统，通过提供有针对性的可视化方式，使用户能够更好地理解模型在上下文驱动的不确定性环境中的性能。通过利用最近在距离感知神经网络和降维技术方面取得的进展，ScatterUQ 构建了强大的二维散点图，解释模型为什么将一个测试样例预测为（1）属于某个类别的内部分布中的样例，（2）属于某个类别的内部分布中的样例，但对类别不确定，以及（3）属于外部分布的样例。机器学习用户和工程师可以通过使用 “悬停回调” 来直观比较测试样本的显著特征与训练样本，以理解模型的不确定性性能，并决定后续行动。我们通过针对 Fashion-MNIST 训练的距离感知神经网络在 Fashion-MNIST（内部分布）和 MNIST 数字（外部分布）上进行多类别图像分类的案例和针对网络数据集的深度学习模型进行了验证。我们定量评估了降维技术以优化我们的上下文驱动 UQ 可视化。我们的结果表明，ScatterUQ 系统可以适用于任意的多类别数据集。我们的代码可以在此 https URL 上获得。

Aug, 2023

通过不确定性量化从量化网络中提取可用的预测结果进行 OOD 检测

使用不确定性量化技术对预训练视觉模型进行预测不确定性估计，以提取有价值的预测并忽略不自信的预测，从而避免最多 80% 的被错误分类的样本。

Mar, 2024

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

Jun, 2023

从位移到分布：一种机器学习支持的用于量化计算模型参数不确定性的框架

本文介绍了将两个框架相结合的新扩展，用于量化工程系统建模中的不可避免不确定性和可归约不确定性来源。

Mar, 2024

机器学习中的不确定性量化 - 工程设计与健康预测教程

本篇研究论文重点介绍了机器学习模型中的不确定性量化方法，特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准，本篇论文旨在帮助提高机器学习模型的安全性和可靠性，同时提供两个具体案例：锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。

May, 2023

神经网络不确定性估计在分类问题中的质量比较

对深度学习的 UQ 方法进行了质量评估，比较了不同模型的不确定性估计质量。

Aug, 2023

深度学习中的不确定性量化综述：技术、应用与挑战

本研究回顾了当前深度学习中不确定性量化（UQ）方法的最新进展，其应用于计算机视觉，医学图像分析，自然语言处理等领域，并调查了这些方法在强化学习中的应用。接着，我们概述了 UQ 方法的几个重要应用，并简要概述了 UQ 方法面临的基本研究挑战，讨论了未来在此领域的研究方向。

Nov, 2020

深度神经网络多维度不确定性量化

本文旨在研究如何衡量深度神经网络中不同的不确定性因素，进一步探究利用这些因素更有效地解决不同决策问题的方法。其中，作者提出了一个一般学习框架来定量不同根本原因导致的多种不确定性，并发现在对于深度神经网络的分类及早期时间点的事件检测中，对于实现最佳效果的不确定性因素分别为矛盾和真空。此外，本文还提出了一个改进 SSL 算法的框架，以抵御 OOD 对象的重要影响。

Apr, 2023

使用神经网络进行分子性质预测的不确定性量化

文章通过对 5 个基准数据集的系统评估，研究不同的不确定性量化方法在回归任务中的性能表现，发现没有一种方法完全优于其他方法，也没有一种特别可靠的错误排名。作者建议在已有的技术中进行选择。

May, 2020