Aug, 2017

学习模型重新参数化：通过拟合 MCMC 分布实现隐式变分推断

PDF
TL;DR介绍了一种新的算法，该算法通过再参数化、马尔可夫链蒙特卡罗和变分方法相结合，构建了一种非常灵活的隐式变分分布，避免了计算 Log 密度比率，因此易于适用于任意连续且可微模型，并且演示了拟合香蕉形状分布和训练变分自动编码器的应用。
发现论文，激发创造
  • 隐式重参数化梯度

    提供了一种简单而高效的计算持续性随机变量低方差梯度的方法，称为重新参数化技巧，但它并不适用于许多重要的连续分布。 本文通过隐式微分介绍了一种计算重新参数化梯度的替代方法，并证明了其对 Gamma，Beta，Dirichlet 和 von Mises 分布具有更广泛的适用性，并且实验表明所提出的方法比现有的梯度估计方法更快，更准确。

    May, 2018

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 变分 MCMC

    介绍一种新型学习算法，该算法结合了变分逼近和马尔可夫链蒙特卡罗（MCMC）模拟，它的目的是更好地估计高阶时刻，如协方差，并用于逻辑信念网络的贝叶斯参数估计问题。

    Jan, 2013

  • 通过蒙特卡洛边缘化学习分布

    提出一种从样本中学习难以处理的分布的新方法，通过最小化 KL 散度使用参数分布模型（如高斯混合模型）来近似不可解的分布。通过引入 Monte-Carlo 边缘化和 Kernel 密度估计来解决计算复杂性和非可导优化过程的挑战，该方法能够学习复杂分布并生成更好的图片。

    Aug, 2023

  • 可微生成模型的渐近精确推断

    该研究介绍了一种在观测条件下，对生成模型进行高效的 MCMC 推断的方法。使用基于哈密顿蒙特卡罗的常约束变体来利用流形的平滑几何，无需近似贝叶斯计算，从而进行精确的推断。

    May, 2016

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 变分贝叶斯蒙特卡罗

    本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

    Oct, 2018

  • 马尔可夫链蒙特卡罗和变分推断：架起鸿沟

    提出了一种结合了变分推断和蒙特卡罗方法的新型推断算法，它通过在变分近似中引入一步或多步 MCMC 来生成具有随机辅助变量的后验分布近似，并通过在快速后验分布逼近和精度之间进行权衡提供了更好的灵活性和准确性。

    Oct, 2014

  • MCMC 和变分推断混合模型的分歧边界及其在朗之万动力学和 SGVI 中的应用

    本文探讨不同近似推断方法（Markov chain Monte Carlo 和变分推断）的优缺点，并提出一种分布来衡量它们之间的差距，其示例介绍了如何从这个分布中采样，以便在现有方法（基于 Langevin 动力学和随机梯度变分推断）之间进行加权插值。

    Jun, 2017

  • 使用隐式分布的变分推断

    本文综述了现有算法之间的联系，包括广泛使用的变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等，提出了新的算法框架，并基于密度比估计或去噪等方法展示了实际的推断算法。

    Feb, 2017