本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

研究了在部分样本被恶意破坏的情况下学习贝叶斯网络的问题，在这种情况下，提出了第一个计算有效、维度无关的鲁棒性学习算法，样本复杂度接近最优，能够实现线性比例的错误率，该算法在合成和半合成数据上表现良好。

Jun, 2016

本文提出了可学习 Bernoulli dropout（LBD），它是一个新的模型无关的 dropout 方案，将 dropout 率视为参数，与其他模型参数一起联合优化，通过 Bernoulli dropout 的概率建模，LBD 实现了深度模型中更稳健的预测和不确定性量化。 与变分自编码器（VAEs）相结合时，LBD 可以实现灵活的半隐式后验表示，从而导致新的半隐式 VAE（SIVAE）模型。我们使用 Augment-REINFORCE-Merge（ARM）对与 dropout 参数训练相关的优化进行求解，这是一种无偏差和低方差的渐变估计器。我们在一系列任务上的实验表明，我们的方法相对于其他常用的 dropout 方案具有更优越的性能。总的来说，LBD 和 SIVAE 在图像分类和语义分割中提高了准确性和不确定性估计。此外，使用 SIVAE，我们可以在几个公共数据集上实现协作过滤器来进行隐式反馈的最先进的性能。

Feb, 2020

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

大语言模型（LLMs）在推断过程中常常过于自信，尤其是当它们适应具有有限数据的下游领域特定任务时。本文通过在 LLMs 训练后采用近似贝叶斯估计的方法来解决这个问题，从而使其能够量化不确定性。然而，这种训练后方法的性能受训练期间学习的参数严重限制。在本文中，我们超越了训练后的贝叶斯化，并提出了一种名为贝叶斯低秩适应的反向传播（BLoB）的算法，该算法在整个微调过程中持续和联合调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在广义化与不确定性估计方面的有效性，同时在分布内和分布外数据上进行评估。

Jun, 2024

本研究提出了一种称为 NPC-LV 的学习框架，它可以使用非监督学习中的生成模型来利用数据分布来构建压缩器，并结合少量标记数据进行分类，能够胜过监督方法和半监督学习方法，用于图像分类。

Jun, 2022

通过引入潜在变量建模和采用基于证据下界（ELBO）的训练目标，我们提出了一种名为变分分类（VC）的传统神经网络方法的新扩展，它通过对抗性方法进行优化。我们的 VC 模型在设计选择方面具有更大的灵活性，特别是类条件潜在先验的选择。对图像和文本分类数据集的实证评估表明，我们的方法在维持预测精度的同时改善了其他可取的特性，例如校准和对抗性鲁棒性，即使应用于外部域的数据。

May, 2023

本文提出了变分贝叶斯 (Variational Bayes) 框架，通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

Jan, 2013

本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

May, 2023

该论文介绍了一种基于层级贝叶斯算法的机器学习和统计问题的解决方法，并讨论了这种算法在 RL 等方面的应用。

May, 2018