May, 2022

距离感知简单方法改进单模型深度不确定性

PDF
TL;DR研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。
uncertainty quantificationdeep learningneural networksspectral-normalized neural gaussian processminimax learning
发现论文，激发创造
  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 使用单个深度确定神经网络进行不确定性估计

    论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

    Mar, 2020

  • 深度确定性不确定性：一个简单的基线

    本研究提出了一种概念简单的基线模型，即通过残差连接和谱归一化构建特征空间后，利用高斯判别分析对 softmax 神经网络的预测原型进行后处理，从而达到准确预测深度神经网络中的不确定性的目的，这种 Deep Deterministic Uncertainty（DDU），可以替代当前复杂且耗时的不确定性量化方法，且比当前最先进的方法的计算成本更低。

    Feb, 2021

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 粒子加速器的不确定性感知深度学习

    使用深度高斯过程逼近（DGPA）方法，我们对萨帕腾中子源（SNS）加速器的错误光束预测（分类）进行了研究，并为费米国家加速器实验室（FNAL）助推器加速器复合物（回归）提供了一个具有不确定性感知的代理模型。

    Sep, 2023

  • 距离保持机器学习用于不确定性感知加速器电容预测

    以深度神经网络和高斯过程逼近技术为基础的模型，通过奇异值分解和谱归一化密集层的比较，用于解决粒子加速器中高压转换调制器电容值预测问题，并显著提高了距离保持和准确度。

    Jul, 2023

  • 基于距离的正则化提升节点分类中的不确定性量化

    深度神经网络在过去几十年取得了重大成功，但它们没有很好的校准性，经常产生不可靠的预测。本文关注于不确定性量化在依赖节点级分类中的应用，并提出了改进的正则化方法来提高分类模型的可靠性。经过大量实验证明，在超过分布检测和误分类检测的应用场景中，提出的正则化方法优于目前的最新技术。

    Nov, 2023

  • 基于贝叶斯方法的交通预测模型的不确定性评估和泛化能力改善

    该研究提出了一种基于贝叶斯循环神经网络和谱归一化的交通预测模型框架，能够提供不确定性估计和更好地适应不同数据集的环境，从而在交通数据预测任务中提高了准确性。

    Jul, 2023

  • 一种以速率 - 失真为视角的不确定性量化方法

    本论文介绍了一种名为 DAB（Distance Aware Bottleneck）的新方法，用于通过学习一个代码本，丰富深度神经网络的性质，从而提供确定性不确定性评估，达到更好的异常检测和误分类预测结果。

    Jun, 2024

  • 基于相似性和敏感度的不确定性感知神经网络

    本文提出了一种基于神经网络的不确定性量化方法，该方法考虑灵敏度意识以获取相似样本，通过预测绝对误差来找到不确定性，然后构建初始不确定性界限并进行边界校正，通过 UB 计算 NN 来减少计算和内存访问。

    Apr, 2023