Mar, 2020

马尔可夫分数攀登：KL(p||q)变分推理

HTML
PDF
TL;DR本文介绍了一种可靠的使用随机梯度下降最小化包含KL散度的简单算法Markovian score climbing (MSC)，它以不偏的方式收敛于包含KL。对贝叶斯 probit 回归进行分类以及针对金融数据的随机波动率模型演示了MSC的效用。
发现论文，激发创造
  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 使用带有一般散度函数的近端梯度方法加速随机变分推断

    提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

    Oct, 2015

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • MCMC和变分推断混合模型的分歧边界及其在朗之万动力学和SGVI中的应用

    本文探讨不同近似推断方法（Markov chain Monte Carlo和变分推断）的优缺点，并提出一种分布来衡量它们之间的差距，其示例介绍了如何从这个分布中采样，以便在现有方法（基于Langevin动力学和随机梯度变分推断）之间进行加权插值。

    Jun, 2017

  • 变分贝叶斯的dropout: 陷阱与修正

    将Dropout重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了Quasi-KL（QKL）差异作为新的近似推理目标。

    Jul, 2018

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过Markov chain Monte Carlo（MCMC）与varational inference（VI）相结合，并引入variational contrastive divergence（VCD）作为新的divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 结构性随机梯度MCMC

    用一种新的非参数泛化逼近方法代替VI，包含了一种Langevin-type算法，其中一部分潜变量是从Markov链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在ResNet-20上对CIFAR-10，SVHN和FMNIST进行测试，我们发现与SG-MCMC和VI相比，在收敛速度和/或最终准确性方面都有所提高。

    Jul, 2021

  • 马尔可夫链分数上升：具有马尔可夫梯度的变分推断的统一框架

    提供了多个基于马尔可夫链的有偏梯度估计算法的非渐进收敛分析，并将其视为马尔可夫链梯度下降框架的特例，通过新的理解开发了一种并行的Markov chain score ascent (pMCSA)算法，实现了对梯度变化的更紧密控制，从而显著提高了算法的实际性能。

    Jun, 2022

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 高斯分数匹配伴随变分推理

    本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比BBVI更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

    Jul, 2023