本文提出了一种改进的变分共识蒙特卡洛算法,该算法优化聚合函数以从分布中获得更好的近似目标,并展示了在三个推理任务中的优越性,实验结果表明,在一些情况下,改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。
Jun, 2015
本文证明了变分贝叶斯法在频率学意义下是稳健的,它可以通过极小化 KL 散度来估计后验分布,并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型,并通过模拟研究进行了验证。
May, 2017
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
本文通过变分逼近 Gibbs posterior 的优化分布,从而实现和原始 PAC-Bayesian 程序同样的收敛速度,以替代通常过慢的 Markov chain Monte Carlo 方法,在多个学习任务中(分类、排名、矩阵完成)取得了良好结果。
本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献,并研究证明了可变组成元素数量的情况下,情形近似的集中性,以及证明了这种多次证明技术确实是有效的。
May, 2018
介绍一种新型学习算法,该算法结合了变分逼近和马尔可夫链蒙特卡罗(MCMC)模拟,它的目的是更好地估计高阶时刻,如协方差,并用于逻辑信念网络的贝叶斯参数估计问题。
Jan, 2013
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本文介绍了利用变分方法进行离散选择模型贝叶斯推断的过程,并且在大规模数据集上,相比马尔可夫蒙特卡罗方法,可以在更小的计算成本下达到相当的精度。
Dec, 2007
本文在变分推理中提出了一种新的逼近分布族:变分顺序蒙特卡罗(VSMC)族,并显示了如何在变分推理中优化它,从而将变分推理和顺序蒙特卡罗相结合,提供了灵活,准确且强大的贝叶斯推理。我们展示了它在状态空间模型,金融数据随机波动模型以及大脑神经电路的深度马尔可夫模型上的实用性。
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过 Metropolis-Hastings 算法,保证了变量选择的一致性和快速混合。
May, 2015