Sep, 2015

用随机梯度变分贝叶斯近似伽马分布

PDF
TL;DR本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。
stochastic variational inferencegradient estimatesgamma distributed latent variablesvariational inferencesparse factor analysis
发现论文，激发创造
  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • Gamma 过程、Stick-Breaking 和 Variational 推断

    本研究提出了一种基于棍状破坏构造定义的 Gamma 过程的变分推断框架，用于 Bayesian 非参数 Latent 结构建模，结果表明其在文档库上的非负矩阵分解任务中表现良好。

    Oct, 2014

  • 随机变分推断

    本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

    Jun, 2012

  • 高斯过程模型输入不确定性的变分推断

    本文提出了一种贝叶斯方法，通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

    Sep, 2014

  • 稀疏高斯过程回归和潜变量模型的分布式变分推断

    本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

    Feb, 2014

  • 状态空间模型的黑箱变分推断

    通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

    Nov, 2015

  • Beta Bernoulli 过程的随机变分算法实证研究

    研究使用 SVI 在稀疏潜在因子模型（尤其是 BPFA）中的性能，发现使用 Gibbs 采样维护特定后验依赖关系非常有效，但在 BPFA 中不同的后验依赖关系与 LDA 不同，并且模拟内局部变量依赖性的近似方法表现最佳。

    Jun, 2015

  • 大规模贝叶斯压缩感知中的高效变分推断

    本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

    Jul, 2011

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017

  • 关于 Gibbs 后验变分逼近的性质

    本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。

    Jun, 2015