Jun, 2018

使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络

PDF
TL;DR通过对 Softplus 函数的输出进行归一化，我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造，并在多个数据集（MNIST，CIFAR-10，CIFAR-100）中的监督学习设置中实现与同一架构的频率主义推断相同的性能。
bayesian convolutional neural networksvariational inferenceuncertainty estimationsoftplus functionsupervised learning
发现论文，激发创造
  • 贝叶斯卷积神经网络与变分推断的全面指南

    本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。

    Jan, 2019

  • 贝叶斯神经网络中可行的函数空间变分推理

    在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

    Dec, 2023

  • 神经网络中的权重不确定性

    提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

    May, 2015

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 采样免的近似方差传播用于认知不确定性估计

    提供了一种比使用蒙特卡洛采样估计神经网络的认识不确定性的方法更加高效的近似方法，该方法适用于大规模视觉任务。

    Aug, 2019

  • 具有贝叶斯深度神经网络的分类快速预测不确定性

    本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

    Mar, 2020

  • 使用函数变分推断实现计算机视觉中的可扩展不确定性

    本文提出一种基于变分推断的高维深度学习不确定性量化方法，使用高斯过程将贝叶斯卷积神经网络先验和变分族相结合，为任意有监督的学习任务提供了预测不确定性估计，同时提供了快速训练的方法。此外，该文还提供了构建回归损失函数的充分条件，使其概率对应物与 aleatoric 不确定性量化相容。

    Mar, 2020

  • 轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

    本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。

    Feb, 2024

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 卷积归一化流

    该研究论文介绍了一种基于神经网络和正则化流的灵活变分后验分布逼近方法，提出了一种名为 ConvFlow 的新型正则化流方法，并证明了其在合成和实际问题中的有效性和效率。

    Nov, 2017