无限深度神经网络的变分推断

ICMLSep, 2022

Variational Inference for Infinitely Deep Neural Networks

Achille Nazaret, David Blei

TL;DR介绍了无限深度神经网络 (UDN)，这是一种无穷深的概率模型，可以根据训练数据自适应其复杂性。它包含一个无限序列的隐藏层，并对截止层数形成一个无界先验。通过开发一种新的变分推断算法来逼近其后验分布，优化神经网络权重和截止层数的分布，该算法探索了截止层数的空间。在真实和合成数据上验证了 UDN 的适应性，以及其与标准神经网络和其他无限深度神经网络方法的性能比较。

Abstract

We introduce the unbounded depth neural network (UDN), an infinitely deep probabilistic model that adapts its complexity to the training data. The UDN contains an infinite sequence of hidden layers and places an unbounded prior on a truncation L, the layer from which it produces its da

infinitely deep probabilistic model unbounded depth neural network variational inference algorithm neural network weights truncation depth

发现论文，激发创造

随机微分方程的无限深贝叶斯神经网络

本文介绍了在连续深度贝叶斯神经网络中进行可扩展的近似推断的方法，借助随机微分方程给出了隐藏单元，并使用基于梯度的随机变分推断和新的梯度估计器，这种方法使连续深度贝叶斯神经网络具有和离散深度替代方法同样的竞争力，并继承了神经 ODE 的内存高效训练和可调节精度。

Feb, 2021

无限宽的贝叶斯神经网络中权重无界方差下的后验推断

针对具有无界方差的神经网络权重的后验推断问题，提供了一种可解释且计算高效的条件高斯表达方法。该方法可利用高斯过程机器进行可行的后验推断和不确定性量化。

May, 2023

部分随机无穷深贝叶斯神经网络

本文提出部分随机性无限深度贝叶斯神经网络 (Partially Stochastic Infinitely Deep Bayesian Neural Networks)，将部分随机性融入无限深度神经网络框架中，并通过改进现有的架构，提高了训练和推理的计算效率以及稳健性、不确定性量化和内存效率。作者在实验中通过多个任务的经验评估证明了该架构在下游任务性能和不确定性量化方面优于现有架构，并且更加高效。

Feb, 2024

无向图模型中的神经变分推断和学习

本文提出了针对无向模型的黑盒学习和推理算法，通过使用变分逼近模型 log-likelihood 的上界优化算法，其中重要的是由灵活神经网络表达的 log-partition 参数化函数上界。我们的算法可加速采样，训练广泛类别的混合有向 / 无向模型，并在多个流行生成建模数据集上验证了其有效性。

Nov, 2017

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

在 ResNets 中实现变分深度搜索

采用一次性神经架构搜索的方式，以削减计算成本，通过深度限定残差网络搜索空间，并提出基于分布的启发式算法进一步剪枝网络，验证预测性能不会受到影响，同时计算测试时不确定性估计比传统网络更加准确。

Feb, 2020

无偏的隐式变分推断

本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

Aug, 2018

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

深度神经网络的后验和变分推断与重尾权重

我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Jun, 2024

通过贝叶斯学习深度神经网络结构来度量不确定性

这篇研究论文探究了一种新型的贝叶斯深度学习，通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计，并提出了一种有效的随机变分推断方法，以统一网络结构和权重的学习。

Nov, 2019