基于梯度的高效推理：将贝叶斯网与神经网之间进行转换

Feb, 2014

基于梯度的高效推理：将贝叶斯网与神经网之间进行转换

Efficient Gradient-Based Inference through Transformations between Bayes Nets and Neural Nets

Diederik P. Kingma, Max Welling

TL;DR本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络，表明通过在潜在变量的中心化和可微非中心化参数化之间切换，这两种类型的模型可以相互转换，并且给出了各种参数化的优缺点及推断方法。在非中心形式中，可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。

Abstract

hierarchical bayesian networks and neural networks with stochastic hidden units are commonly perceived as two separate types of models. We show that either of these types of models can often be transformed into a

hierarchical bayesian networks neural networks latent variables posterior inference monte carlo estimator

发现论文，激发创造

辅助形式下基于快速梯度的连续潜变量模型推断

通过表达隐变量的辅助形式，增加贝叶斯网络中多层连续隐变量梯度推断和学习的效率，提高混合蒙特卡罗和梯度优化的速度。

Jun, 2013

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

非线性状态空间模型的结构化推理网络

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

复杂模型变分推断的快速简单的自然梯度下降

本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

Jul, 2018

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Apr, 2024

贝叶斯神经网络代理在贝叶斯优化中的研究

研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

May, 2023

非参数贝叶斯推断的元学习神经回路

从非参数贝叶斯模型中提取归纳偏好并将其转移到人工神经网络，使得神经电路能够在开放类集合上成功进行顺序推理，实现了与基于粒子滤波器方法相当甚至更好的性能，并且速度更快、使用更简单。

Nov, 2023

用于图形模型中的顺序蒙特卡罗推理网络

本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理，它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法，该网络表示图形模型的逆因子分解，从而得到一个有条件密度估计器，该估计器以所观察到的随机变量的特定值作为输入，并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布，以加速在各种问题设置中进行顺序蒙特卡罗。

Feb, 2016

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019