Feb, 2024

批量与匹配：基于评分的黑盒变分推断

PDF
TL;DR基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。
black-box variational inferencestochastic evidence lower boundbatch and matchscore-based divergenceconvergence analysis
发现论文，激发创造
  • 高斯分数匹配伴随变分推理

    本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即 score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比 BBVI 更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

    Jul, 2023

  • 黑盒变分推断收敛

    本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

    May, 2023

  • 结构化黑盒变分推断用于潜在时间序列模型

    介绍了一种类似于前向 - 后向算法的 BBVI 算法，它可以使得我们高效地从变分分布中进行采样，并且可以估计 ELBO 梯度。在动态词嵌入模型上的结果证明了我们方法的有效性。

    Jul, 2017

  • 摄动黑盒变分推理

    本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

    Sep, 2017

  • 双层评分匹配用于学习基于能量的潜变量模型

    本文提出了一种称为 BiSM 的方法，通过将 Score matching 作为双层优化问题重新定义，引入变分后验概率来优化修改后的 SM 目标函数，并且通过优化变分后验概率来拟合真实后验概率，从而可有效学习具有一般结构的能量基于隐变量的模型，在通过梯度展开实现的随机优化算法的辅助下，BiSM 可以用于生成自然图像的复杂 EBLVM。

    Oct, 2020

  • 基于分数匹配的半隐式变分推断

    SIVI-SM 是基于分数匹配的新的 SIVI 方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当，并且优于基于 ELBO 的 SIVI 方法。

    Aug, 2023

  • 黑盒变分推断中的高效混合学习

    通过引入 Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的 black box variational inference（BBVI）下的 ELBO 估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

    Jun, 2024

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 黑匣子变分推断

    本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

    Dec, 2013