May, 2017

变分贝叶斯方法的频率派一致性

PDF
TL;DR本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化 KL 散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian 广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。
variational bayesposterior distributionfrequentist consistencyasymptotic normalitybayesian modeling
发现论文，激发创造
  • 温和后验分布及其变分逼近的集中性

    本文提出了一种通用方法来证明分数后验变分近似的集中性，应用于矩阵补全和高斯 VB 两个例子，弥补了变分贝叶斯方法在理论方面的不足。

    Jun, 2017

  • 混合模型中基于变分贝叶斯推断的参数估计和模型选择的一致性

    本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献，并研究证明了可变组成元素数量的情况下，情形近似的集中性，以及证明了这种多次证明技术确实是有效的。

    May, 2018

  • 变分贝叶斯蒙特卡罗

    本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

    Oct, 2018

  • 协方差，鲁棒性和变分贝叶斯

    该论文提出了一种改进的 MFVB（Mean-field Variational Bayes）方法，通过推导无穷小模型扰动对 MFVB 后验均值的影响，提供了更精确的后验协方差估计和本地健壮性测量，扩展了 MFVB 的实用性，特别是适用于大规模数据集。实验表明，该方法简单、通用且速度快，可以提供准确的后验不确定性估计和健壮性测量，其运行时间比 MCMC 快一个数量级。

    Sep, 2017

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分贝叶斯统计最优性

    本文研究了使用变分贝叶斯方法进行参数估计的合理性问题，并提供了获得基于点估计的最优风险界的一般条件。这些条件涉及参数空间上距离度量的某些测试函数的存在以及对先验的最小假设。本文概述了验证这些条件的一般步骤，这对具有或没有潜变量的现有贝叶斯模型广泛适用。同时，具体应用于潜在狄利克雷分配和高斯混合模型的过程也作了讨论。

    Dec, 2017

  • 变分共识蒙特卡罗

    本文提出了一种改进的变分共识蒙特卡洛算法，该算法优化聚合函数以从分布中获得更好的近似目标，并展示了在三个推理任务中的优越性，实验结果表明，在一些情况下，改进后的算法较串行 MCMC 更快而且相对误差降低幅度高达 92%。

    Jun, 2015

  • 关于 Gibbs 后验变分逼近的性质

    本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。

    Jun, 2015

  • 具有不可解似然函数的变分贝叶斯方法

    本文提出的变分贝叶斯方法可以推广到似然函数难以处理，但可以偏差无偏估计的情况，这种方法能够以较高精度近似获得边际后验分布。

    Mar, 2015

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018