Jul, 2022

通过距离感知先验校准贝叶斯神经网络的不确定性

PDF
TL;DR本文提出了一种基于距离感知的先验分布校准方法 (DAP)，可用于纠正贝叶斯深度学习模型在域外过于自信的问题，该方法可以作为后处理步骤执行，并能够有效地用于多种分类和回归问题。
bayesian deep learningpredictive uncertaintycalibrationpost-processingregression problems
发现论文，激发创造
  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 粒子加速器的不确定性感知深度学习

    使用深度高斯过程逼近（DGPA）方法，我们对萨帕腾中子源（SNS）加速器的错误光束预测（分类）进行了研究，并为费米国家加速器实验室（FNAL）助推器加速器复合物（回归）提供了一个具有不确定性感知的代理模型。

    Sep, 2023

  • 校准感知贝叶斯学习

    本文提出了一种称为校准感知贝叶斯神经网络（CA-BNN）的综合框架，该框架应用了数据独立正则化和数据相关正则化以优化贝叶斯学习中的变分分布，在期望校准误差（ECE）和可靠性图中验证了该方法的优越性。

    May, 2023

  • 利用先验网络进行预测不确定性估计

    该研究提出了一种名为 Prior Networks（PNs）的框架来模型化分类任务中的数据和分布不确定性，并在 MNIST 数据集上实现了对 OOD 样本的识别和误分类的检测，与之前的方法相比，PNs 具有更好的表现。

    Feb, 2018

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 通过距离感知的确定性深度学习方法进行简单和有原则的不确定性评估

    SNGP 基于权重规范化和高斯过程，解决了深度神经网络中单模型在预测、校准和域外检测上的不确定性问题。

    Jun, 2020

  • 超越领域场景：稳健的密度感知校准

    使用基于最近邻的密度感知校准方法，利用分类器的隐藏层作为不确定性相关信息的来源对深度学习模型进行校准，提高了对域漂移和离域数据的可靠性，并在保持良好域内预测不确定性估计的同时，提高了校准的鲁棒性。

    Feb, 2023

  • 一种以速率 - 失真为视角的不确定性量化方法

    本论文介绍了一种名为 DAB（Distance Aware Bottleneck）的新方法，用于通过学习一个代码本，丰富深度神经网络的性质，从而提供确定性不确定性评估，达到更好的异常检测和误分类预测结果。

    Jun, 2024

  • 深度神经网络的近邻校准

    研究表明，机器学习模型的置信度校准常常忽略距离偏差问题，即在低接近度数据（即分布稀疏的区域）上比在高接近度样本上更容易过度自信，进而导致不一致的误校准。基于此，该研究提出了一种名为 ProCal 的插件式算法，具有调整样本置信度的理论保障。结果表明，ProCal 在各种模型结构下在平衡、长尾和分布偏移情况下都能有效缓解距离偏差问题并改善校准。

    Jun, 2023

  • 后验退火：回归问题的快速校准不确定性

    本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。

    Feb, 2023