鲁棒贝叶斯神经网络的确定性变分推断

Oct, 2018

鲁棒贝叶斯神经网络的确定性变分推断

Deterministic Variational Inference for Robust Bayesian Neural Networks

Anqi Wu, Sebastian Nowozin, Edward Meeds, Richard E. Turner, José Miguel Hernández-Lobato...

TL;DR本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Abstract

bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural

bayesian neural networks variational bayes inference hierarchical prior empirical bayes

发现论文，激发创造

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

轻量级贝叶斯神经网络具有异方差不确定性的变分推断框架

本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中，提高了预测性能。

Feb, 2024

功能变分贝叶斯神经网络

该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络，该网络使用随机过程来定义 ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

Mar, 2019

任意非线性贝叶斯神经网络的小样本变分推断

本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

May, 2024

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

贝叶斯卷积神经网络与变分推断的全面指南

本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。

Jan, 2019

神经网络中的隐含权重不确定性

该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

Nov, 2017

贝叶斯递归神经网络

使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

Apr, 2017

通过贝叶斯学习深度神经网络结构来度量不确定性

这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

Nov, 2019