Jun, 2024

粒子半隐式变分推断

PDF
TL;DR该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。
semi-implicit variational inferenceexpressiveness of variational familiesparticle variational inferenceoptimal mixing distributionsempirical results
发现论文，激发创造
  • 半隐式变分推断

    使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族，可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本，并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.

    May, 2018

  • 核半隐式变分推断

    核 SIVI（KSIVI）是 SIVI-SM 的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核 Stein 距离（KSD），从而实现了 KSIVI 的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了 KSIVI 的有效性和效率。

    May, 2024

  • 双半隐式变分推断

    提出了一种名为 DSIVI 的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的 ELBO 下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018

  • 基于分数匹配的半隐式变分推断

    SIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。

    Aug, 2023

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 层次半隐式变分推理及其在扩散模型加速中的应用

    本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

    Oct, 2023

  • 理解和加速基于粒子的变分推断

    本文从 Wasserstein 梯度流的角度探索基于粒子的变分推断方法，并在理论和实践上做出了贡献，揭示了现有方法的假设和关系，并提出了一个加速框架和一个基于开发理论的有原则的带宽选择方法，这些方法利用了 Wasserstein 空间的几何，实验结果表明了加速框架的改善收敛和带宽选择方法提高了样本准确性。

    Jul, 2018

  • 无偏的隐式变分推断

    本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

    Aug, 2018

  • 基于粒子的广义 Wasserstein 梯度流的变分推理

    该论文介绍了一种称为广义 Wasserstein 梯度下降（GWG）的粒子变分推断方法框架，基于 KL 散度的广义 Wasserstein 梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了 GWG 具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

    Oct, 2023