ICMLAug, 2020

使用 Alpha - 散度的贝叶斯神经网络可靠不确定性

PDF
TL;DR本文提出基于信息几何中 alpha 差异的 BNN 校准方法，将 alpha 差异用于校准，针对参数估计和输出不确定性关系的回归问题，在特定 alpha 下提供更好的校准不确定性估计并提高了网络结构的计算效率。
bayesian neural networksuncalibratedcalibration methodsalpha divergencesregression problems
发现论文，激发创造
  • 使用 Alpha 散度推断贝叶斯神经网络的 Dropout

    该研究提出了 alpha-divergence 的一种新颖措施，与 dropout 结合使用，能够较准确地估计深度学习模型的不确定性。

    Mar, 2017

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 贝叶斯神经网络推断的不确定性量化质量

    本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

    Jun, 2019

  • 校准感知贝叶斯学习

    本文提出了一种称为校准感知贝叶斯神经网络（CA-BNN）的综合框架，该框架应用了数据独立正则化和数据相关正则化以优化贝叶斯学习中的变分分布，在期望校准误差（ECE）和可靠性图中验证了该方法的优越性。

    May, 2023

  • 通过距离感知先验校准贝叶斯神经网络的不确定性

    本文提出了一种基于距离感知的先验分布校准方法 (DAP)，可用于纠正贝叶斯深度学习模型在域外过于自信的问题，该方法可以作为后处理步骤执行，并能够有效地用于多种分类和回归问题。

    Jul, 2022

  • 无标签数据改善协变量偏移下的贝叶斯不确定性校准

    本研究提出了一种基于后验正则化的近似贝叶斯推断方案，可以用未标记的目标数据作为模型置信度的 “伪标签”，这些伪标签被用于调整标记源数据上的损失，显著提高了协变量移位数据集的不确定性量化准确性，适用于转移前瞻性前列腺癌模型在全球范围内的应用。

    Jun, 2020

  • 构建 BNN：一种从预训练模型中估计贝叶斯不确定性的简单策略

    深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

    Dec, 2023

  • 后验退火：回归问题的快速校准不确定性

    本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。

    Feb, 2023

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 关于无偏 Alpha 散度最小化的困难

    本文探讨信号噪声比的方法用于最小化近似分布和目标分布之间的 alpha-divergence，结果发现在高维的情况下，实现这种方法的可行性存在质疑。

    Oct, 2020