温和后验分布及其变分逼近的集中性
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本文提出了一种基于非参数核密度估计的变分逼近方法,通过优化内核位置和带宽参数最大化数据边际似然下限,不同于其他变分逼近方法,本方法能够捕捉后验分布的多个模式,并成功应用于各种图模型和非线性矩阵分解模型中,预测性能优于更专业化的变分方法和基于样本的逼近方法。
Jun, 2012
本文提出了一种黑盒变分推理方法——变分 boosting,通过迭代优化来逼近一个越来越丰富的逼近类,从而扩展其变分逼近类,应用于合成和真实的统计模型,表明通过比较精确和有效地后验推理,其结果优于现有的后验逼近算法。
Nov, 2016
本文证明了变分贝叶斯法在频率学意义下是稳健的,它可以通过极小化KL散度来估计后验分布,并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian广义线性混合模型和贝叶斯随机块模型,并通过模拟研究进行了验证。
May, 2017
将Dropout重新解释为贝叶斯神经网络的近似推理算法,提出了一个有用的理论框架,但对于使用不当的先验概率,存在未定义或病态行为的真后验分布问题;对于近似分布相对于真后验分布的奇异性而言,近似难以定义。为了解决这些问题,提出了Quasi-KL(QKL)差异作为新的近似推理目标。
Jul, 2018
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
通过考虑非均匀采样方案,我们为二值观测的矩阵完成问题提供了理论保证,证明了分数后验的有效性。我们使用两种不同类型的先验分布来实现这一目标:低秩分解先验和谱缩放的学生先验,后者需要较少的假设。重要的是,我们的结果具有自适应性,不需要对参数矩阵的秩有先验知识,与最频繁的文献中的结果相当,但需要较少的限制性假设。
Apr, 2024