Jan, 2019

贝叶斯卷积神经网络与变分推断的全面指南

PDF
TL;DR本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。
artificial neural networksbayesian convolutional neural networkvariational inferenceuncertaintyimage classification
发现论文，激发创造
  • 具有伯努利近似变分推断的贝叶斯卷积神经网络

    通过在 CNN 的内核上建立概率分布，使用伯努利变分分布来近似模型的不可切合后验，并将 dropout 网络训练视为 Bayesian 神经网络中的近似推理。相比于标准技术，我们的模型在小数据上具备更好的鲁棒性，并在 CIFAR-10 上的分类准确率上取得了发表的最新结果的显著改善。

    Jun, 2015

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 模型和参数不确定性下的贝叶斯神经网络变分推断

    本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

    May, 2023

  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络

    通过对 Softplus 函数的输出进行归一化，我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造，并在多个数据集（MNIST，CIFAR-10，CIFAR-100）中的监督学习设置中实现与同一架构的频率主义推断相同的性能。

    Jun, 2018

  • 基于变分推断的贝叶斯活动识别

    应用贝叶斯深度学习框架对视觉活动识别应用进行建模，推断模型参数的后验分布并在预测分布上施加蒙特卡罗采样以实现可靠的不确定性估计，可为关键性的安全保障应用提供一定的量化信任，相比传统的深度神经网络，在视觉活动识别精度 - 召回 AUC 方面有显著的提高。

    Nov, 2018

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 关于贝叶斯神经网络中近似推断表现的探讨

    通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

    Sep, 2019

  • 卷积归一化流

    该研究论文介绍了一种基于神经网络和正则化流的灵活变分后验分布逼近方法，提出了一种名为 ConvFlow 的新型正则化流方法，并证明了其在合成和实际问题中的有效性和效率。

    Nov, 2017