Jun, 2021

使用前向 Kullback-Leibler 散度进行重要性采样的变分细化

PDF
TL;DR提出了一种结合优化和抽样技巧的近似贝叶斯推断方法，通过最小化前向 KL 散度构建了一种 IS 建议分布，实验证明该方法在现实数据上与变分提升和 MCMC 相竞争。
发现论文，激发创造
  • 基于 $χ^2$ 散度的变分重要采样

    通过最小化前向 χ^2 散度来优化建议分布以增强对数似然估计，我们引入了一种称为变分重要性抽样（VIS）的新方法，实现了直接估计和最大化对数似然。将 VIS 应用于各种流行的潜变量模型，包括混合模型、变分自编码器和部分可观测广义线性模型，结果显示我们的方法在对数似然和模型参数估计方面始终优于最先进的基准模型。

    Nov, 2023

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 重要性加权和变分推断

    本文研究使用重要性采样方法对概率变分推断的影响，并提出了 “重要性加权变分推断（IWVI）” 技术，它是 “增广变分推断” 的一种实例，能够改善低维准确性和高维收敛性，实验证实了其对概率推断的实用性。

    Aug, 2018

  • 嵌套变分推断

    本研究提出了一种新的方法，称为嵌套变分推断，用于学习嵌套重要性取样器中的建议，该方法通过在每个嵌套级别上最小化正向或反向 KL 散度。该方法适用于许多常用的重要性取样策略，并提供了一种学习中间密度的机制，该中间密度可以作为启发式来引导取样器。我们的实验将 NVI 应用于（a）使用学习的退火路径从多峰分布中采样（b）学习近似于隐藏马尔可夫模型中未来观测值的启发式以及（c）在分层深度生成模型中执行分摊推理。我们观察到，优化嵌套目标可以提高采样质量，表现为对数平均权重和有效样本大小。

    Jun, 2021

  • 重要性抽样的进展

    本文介绍了 Monte Carlo 技术中的 Importance Sampling 算法及其应用，重点探讨了多重 IS 和自适应 IS 这两种先进的 IS 变体。

    Feb, 2021

  • 马尔可夫分数攀登：KL (p||q) 变分推理

    本文介绍了一种可靠的使用随机梯度下降最小化包含 KL 散度的简单算法 Markovian score climbing (MSC)，它以不偏的方式收敛于包含 KL。对贝叶斯 probit 回归进行分类以及针对金融数据的随机波动率模型演示了 MSC 的效用。

    Mar, 2020

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 重要性加权层级变分推断

    通过引入一种新的变分上界家族，我们提出了一种用于层次模型的变分下界族，使得我们可以使用更具表现力的近似后验概率，并在一系列实验中证明了所提出的方法的卓越性能。

    May, 2019