ICMLMay, 2024

核半隐式变分推断

PDF
TL;DR核 SIVI（KSIVI）是 SIVI-SM 的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核 Stein 距离（KSD），从而实现了 KSIVI 的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了 KSIVI 的有效性和效率。
semi-implicit variational inferencesivi-smkernel sivireproducing kernel hilbert spacekernel stein discrepancy
发现论文，激发创造
  • 半隐式变分推断

    使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族，可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本，并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.

    May, 2018

  • 基于分数匹配的半隐式变分推断

    SIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。

    Aug, 2023

  • 粒子半隐式变分推断

    该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

    Jun, 2024

  • 双半隐式变分推断

    提出了一种名为 DSIVI 的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的 ELBO 下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018

  • 层次半隐式变分推理及其在扩散模型加速中的应用

    本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

    Oct, 2023

  • 无偏的隐式变分推断

    本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

    Aug, 2018

  • 核隐式变分推断

    本文介绍一种名为核式隐式变分推断的新方法，可以成功地将隐式变分推断应用于贝叶斯神经网络，并在回归和分类任务上展现了有前途的结果。

    May, 2017

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 高斯分数匹配伴随变分推理

    本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即 score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比 BBVI 更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

    Jul, 2023

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024