ICLRAug, 2023

基于分数匹配的半隐式变分推断

PDF
TL;DRSIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。
semi-implicit variational inferencesivi-smscore matchingvariational familiesbayesian inference
发现论文，激发创造
  • 核半隐式变分推断

    核 SIVI（KSIVI）是 SIVI-SM 的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核 Stein 距离（KSD），从而实现了 KSIVI 的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了 KSIVI 的有效性和效率。

    May, 2024

  • 半隐式变分推断

    使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族，可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本，并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.

    May, 2018

  • 高斯分数匹配伴随变分推理

    本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即 score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比 BBVI 更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

    Jul, 2023

  • 粒子半隐式变分推断

    该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

    Jun, 2024

  • 双半隐式变分推断

    提出了一种名为 DSIVI 的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的 ELBO 下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018

  • 层次半隐式变分推理及其在扩散模型加速中的应用

    本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

    Oct, 2023

  • 无偏的隐式变分推断

    本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

    Aug, 2018

  • 批量与匹配：基于评分的黑盒变分推断

    基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。

    Feb, 2024

  • 双层评分匹配用于学习基于能量的潜变量模型

    本文提出了一种称为 BiSM 的方法，通过将 Score matching 作为双层优化问题重新定义，引入变分后验概率来优化修改后的 SM 目标函数，并且通过优化变分后验概率来拟合真实后验概率，从而可有效学习具有一般结构的能量基于隐变量的模型，在通过梯度展开实现的随机优化算法的辅助下，BiSM 可以用于生成自然图像的复杂 EBLVM。

    Oct, 2020

  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022