本文介绍了一种基于随机优化的替代算法，可以直接优化变分下界，通过控制变量来减少随机梯度的方差，其在非共轭模型：逻辑回归和HDP近似中的效果得到了证明。

Jun, 2012

本文探讨了一种局部重参数技术来大大减少变分贝叶斯推断（SGVB）的随机梯度方差，同时保留并行可行性，并且将全局参数的不确定性转化为本地噪声，本方法可以推广到更加灵活参数化的后验分布中，同时探究了一种与dropout的关联。

Jun, 2015

本研究提出了一种基于稀疏约束变分推断视角的 Riemannian coresets 构建算法，与过去的方法相比，该算法不需要一个合理的后验近似。实验结果表明，提出的算法能够不断改善coreset，大大减小 KL 散度，从而提供最先进的 Bayesian 数据集概括。

Jun, 2019

本文旨在通过完全贝叶斯处理下的尖峰-平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

Nov, 2020

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

利用稀疏表示和变分推断的学生-t进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

Dec, 2023

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024

研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。

Jun, 2024

本研究解决了压缩感知中的基本线性逆问题，提出了一种新型的正则化生成先验。该方法结合了经典字典基础的压缩感知思想与稀疏贝叶斯学习，旨在通过少量压缩和噪声数据样本进行学习，有效地进行不确定性量化，且无需优化算法解决逆问题。

Nov, 2024