Jun, 2020

通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

PDF
TL;DRSNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。
bayesian neural networksdeep ensemblesuncertainty estimationsngpinput distance awareness
发现论文，激发创造
  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 深度确定性不确定性：一个简单的基线

    本研究提出了一种概念简单的基线模型，即通过残差连接和谱归一化构建特征空间后，利用高斯判别分析对 softmax 神经网络的预测原型进行后处理，从而达到准确预测深度神经网络中的不确定性的目的，这种 Deep Deterministic Uncertainty（DDU），可以替代当前复杂且耗时的不确定性量化方法，且比当前最先进的方法的计算成本更低。

    Feb, 2021

  • 使用单个深度确定神经网络进行不确定性估计

    论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

    Mar, 2020

  • 粒子加速器的不确定性感知深度学习

    使用深度高斯过程逼近（DGPA）方法，我们对萨帕腾中子源（SNS）加速器的错误光束预测（分类）进行了研究，并为费米国家加速器实验室（FNAL）助推器加速器复合物（回归）提供了一个具有不确定性感知的代理模型。

    Sep, 2023

  • SDE-Net：为深度神经网络提供不确定性估计

    我们提出了一种基于随机动态系统视角的量化深度神经网络不确定性的新方法，即神经随机微分方程模型 (SDE-Net)，并证明了其存在唯一解的性质，实验证明该模型在不确定性占据重要角色的一系列任务中优于现有的不确定性估计方法。

    Aug, 2020

  • 利用证据理论的深度学习进行分类不确定性量化

    通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

    Jun, 2018

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018