将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

Jul, 2018

我们提出了一种新的名为 Variational Bayesian Dropout (VBD) 的泛化 Gaussian Dropout 方法，其利用分层先验来推断联合后验，以解决 Variational dropout 中的不恰当先验带来的不良影响，从而提高网络训练的规范能力和泛化性能，在分类和网络压缩任务中取得更优异的性能表现。

Nov, 2018

本研究采用变分丢失技术，提供了一种优雅的高斯丢失的贝叶斯解释，将其扩展到丢失速率无界的情况，提出一种减少梯度估计器方差的方法，并在每个权重的情况下报告第一个实验结果。有趣的是，在完全连接和卷积层中都导致极度稀疏的解决方案。这种效应类似于实证贝叶斯中的自动相关确定效应，但具有许多优势。我们在 LeNet 架构上将参数减少了最多 280 倍，并在类似 VGG 的网络上将参数减少了最多 68 倍，同时准确度几乎不减。

Jan, 2017

这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

May, 2017

研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

Oct, 2018

本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与 dropout 的关联。

Jun, 2015

提出一种新颖的变分结构近似方法 (VSD)，它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示，并在近似后验中引入统计依赖性来解决 Variational Dropout 方法的问题，从而提高了先前 Variational dropout 方法的拟合精度和更好的泛化性能。

Feb, 2021

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

Jun, 2015