本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

在本文中，我们首先确定深度学习中的归一化层使用的均值和方差估计器不可接受，然后介绍了一种运用 James-Stein 估计器改进均值和方差估计的新方法，评估表明我们改进的归一化层在各种计算机视觉任务中始终具有优越的准确性，而且不增加额外的计算负担。此外，我们还研究了两种显著的缩小估计器：Ridge 和 LASSO，通过可视化表示直观地展示了缩小对估计层统计量的影响，并对正则化和批量大小对我们修改后的批量归一化的影响进行了研究，研究显示我们的方法对批量大小和正则化不太敏感，在不同设置下提高了准确性。

Dec, 2023

本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Aug, 2016

针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

本文通过研究在目标平滑、变分族为位置 - 尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

Jun, 2019

本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

Dec, 2019

本研究提出了一种对 Gumbel-Softmax estimator 进行 Rao-Blackwellization 的方法，可在不增加函数评估数量的情况下减少方差，从而降低均方误差，并在两种无监督潜变量模型中得到了实证验证。

Oct, 2020

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

Nov, 2015

本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

Jun, 2018