ICMLMay, 2018

半隐式变分推断

PDF
TL;DR使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族，可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本，并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.
variational inferencesemi-implicit variational inference (sivi)bayesian inferenceelbomcmc
发现论文，激发创造
  • 核半隐式变分推断

    核 SIVI（KSIVI）是 SIVI-SM 的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核 Stein 距离（KSD），从而实现了 KSIVI 的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了 KSIVI 的有效性和效率。

    May, 2024

  • 粒子半隐式变分推断

    该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

    Jun, 2024

  • 双半隐式变分推断

    提出了一种名为 DSIVI 的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的 ELBO 下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018

  • 基于分数匹配的半隐式变分推断

    SIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。

    Aug, 2023

  • 层次半隐式变分推理及其在扩散模型加速中的应用

    本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

    Oct, 2023

  • 无偏的隐式变分推断

    本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

    Aug, 2018

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022