基于生成模型的不确定性感知深度分类器

AAAIJun, 2020

基于生成模型的不确定性感知深度分类器

Uncertainty-Aware Deep Classifiers using Generative Models

Murat Sensoy, Lance Kaplan, Federico Cerutti, Maryam Saleki

TL;DR本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

Abstract

deep neural networks are often ignorant about what they do not know and overconfident when they make uninformed predictions. Some recent approaches quantify classification uncertainty directly by training the mod

deep neural networks classification uncertainty aleatoric uncertainty epistemic uncertainty variational autoencoders

发现论文，激发创造

通过任务感知的生成性不确定性实现对于超出分布输入的鲁棒性

本文提出了一种结合生成模型和模型不确定性的不确定性感知机器人感知方法，用于处理源自超出分布状态的不确定性。

Dec, 2018

通过产生自信的非分布样例来构建鲁棒的分类器

本文介绍了一种基于 GAN 的方法来构建鲁棒分类器，采用 GAN 显式生成分类器可以确信的、高熵的样本，并让分类器在这些样本上最大化熵，相对于现有最先进技术在手写字符和各种自然图像数据集上展示了该方法的有效性。

Dec, 2018

深度神经网络不确定性的开放集识别：广义分类器是否需要识别非分布？

本文探讨了基于预测不确定性的区分内外样本检测问题的解决方案，并通过极值理论的开放集识别方法对不同模型的本体不确定性进行了比较分析。同时通过实验，我们发现生成模型的后验 open set 识别方法优于区分模型和基于预测不确定性的异常检测方法，从而引出了分类器是否需要具备生成能力才能够识别未知类别的疑问。

Aug, 2019

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

非高斯遍伴生不确定性的深度模型

深度学习方法在建模机器人估计系统中的不确定性上表现出了巨大潜力，特别是当不确定性分布不符合传统的固定和高斯假设时。本研究通过三种基本的深度学习方法（参数化模型、离散化模型和生成模型）对非高斯型不确定性进行了数值建模和评估，并在模拟非高斯密度和现实世界的地形相对导航数据上系统比较了这三种方法的优缺点。结果表明，这些深度学习方法能够准确捕捉复杂的不确定性模式，彰显了它们提高估计系统可靠性和鲁棒性的潜力。

May, 2024

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

迈向无偏随机不确定性估计的一步

该研究提出了一种新的数据不确定性估计方法，通过主动去噪处理观察数据，以更准确地近似实际数据不确定性。实验证明，与标准方法相比，我们提出的方法更接近实际数据不确定性。

Dec, 2023

哪些模型天生就擅长不确定性估计？

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

训练置信度校准的分类器用于检测离分布样本

本文提出了一种新的分类器训练方法，通过对深度神经网络引入两个额外的术语来增强分类器的推断性能，并同时训练分类和生成神经网络以解决样本的分布问题，该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。

Nov, 2017

深度神经分类器的偏差减少不确定性估计

本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

May, 2018