May, 2018

贝叶斯神经网络中基于损失校准的近似推断

PDF
TL;DR本文提出了一种基于 Bayesian 决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准 dropout 神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。
bayesian neural networksapproximate inferencesupervised learningdropout inferenceutility function
发现论文，激发创造
  • 深度学习模型不确定性的校准

    本文提出了一种基于概率贝叶斯方法的神经网络预测置信度校准方案，最大化置信度期望效用，用最大置信度校准误差度量预测的置信度和错误之间的关系，并在 COVID-19 诊断中测试取得了显著的效果。

    Jun, 2022

  • 校准感知贝叶斯学习

    本文提出了一种称为校准感知贝叶斯神经网络（CA-BNN）的综合框架，该框架应用了数据独立正则化和数据相关正则化以优化贝叶斯学习中的变分分布，在期望校准误差（ECE）和可靠性图中验证了该方法的优越性。

    May, 2023

  • 基于随机推理的深度神经网络单次置信度校准学习

    本文提出了一种深度学习置信度和准确性校准的通用方法，基于随机推断对网络的预测结果进行置信度和准确性分析并设计了一种新型的基于方差加权的置信度综合损失函数，以实现网络置信度的正确预测和校准。实验结果表明该算法有效地解决了深度神经网络在预测置信度上的过度自信问题，且在不同模型和数据集上表现出色。

    Sep, 2018

  • 无标签数据改善协变量偏移下的贝叶斯不确定性校准

    本研究提出了一种基于后验正则化的近似贝叶斯推断方案，可以用未标记的目标数据作为模型置信度的 “伪标签”，这些伪标签被用于调整标记源数据上的损失，显著提高了协变量移位数据集的不确定性量化准确性，适用于转移前瞻性前列腺癌模型在全球范围内的应用。

    Jun, 2020

  • 利用可微的覆盖概率校准神经仿真推断

    引入校准项到神经模型的训练目标中，通过放松经典校准误差公式，我们提出了一种方法来解决现有算法对后验不确定性估计准确性的挑战，该方法适用于现有计算流程，实现可靠的黑盒后验推断，并在六个基准问题上经验证明具有竞争性或更好的结果。

    Oct, 2023

  • 即使轻微地贝叶斯化，也能修复 ReLU 网络中的过度自信

    本文提出了一种基于贝叶斯推断的神经网络未来预测方法，该方法通过对 ReLU 网络权重进行近似高斯分布的理论分析和实验验证，同时发现了使用简单的贝叶斯近似方法可以解决 ReLU 网络的过度自信问题。

    Feb, 2020

  • 利用证据理论的深度学习进行分类不确定性量化

    通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

    Jun, 2018

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 超越校准：估算现代神经网络的分组损失

    本文研究了分类器给出可靠置信度分数的能力，在分组损失的影响下，提出了适用于标准设置下的分组损失估计器，利用该估计器证明了现代神经网络在计算机视觉和自然语言处理中存在分组损失

    Oct, 2022