Jun, 2015

Stan 中的自动变分推断

PDF
TL;DR本文介绍了一种名为自动微分变分推断（ADVI）的方法，可以通过输入一个贝叶斯模型和数据集，自动确定适当的变分族并优化变分目标，而且支持广泛类别的模型，本方法在 Stan 中实现，可用于各类模型的变分推断。
variational inferenceautomatic differentiationbayesian modelprobabilistic programmingmixture model
发现论文，激发创造
  • 自动微分变分推断

    使用自动微分变分推理自动推导出高效的变分推理算法，使科学家可以更高效地循环实现多个概率模型，并应用于不同的数据集。

    Mar, 2016

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统 ELBO 或 IWAE 的优势，特别是在 latents 变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 非参数自动微分变分推断与样条逼近

    我们提出了一种基于样条的非参数逼近方法，可以灵活逼近具有复杂结构的后验分布，如偏度、多峰性和有界支持。通过采用样条逼近，我们得到了重要性加权自编码器的下界，并建立了渐近一致性。实验证明了该方法在逼近复杂的后验分布和提高具有不完整数据的生成模型性能方面的高效性。

    Mar, 2024

  • 自动结构化变分推断

    介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

    Feb, 2020

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 概率编程中的自动变分推断

    本研究提出了一种新算法，基于随机梯度的变分程序来进行概率编程中的近似推理，特别适用于高度结构化的分布。我们展示了如何自动推导平均场概率程序并优化它们，并证明我们的方法比其他算法提高了推理效率。

    Jan, 2013

  • 随机变分推断

    本研究开发了基于随机变分推断的可伸缩算法，用于逼近后验概率分布，并且针对一类大规模的概率模型进行了技术开发；对两个概率主题模型进行了演示并应用于大量文献数据的分析，其中包括自然杂志、《纽约时报》和维基百科，结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断，并且表明贝叶斯非参数主题模型优于参数主题模型；因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。

    Jun, 2012

  • 半摊分变分自编码器

    我们提出了一种半摊分解方法，使用摊分变分推断 (Amortized Variational Inference，AVI) 来初始化变分参数并运行随机变分推断 (Stochastic Variational Inference，SVI) 来细化它们，从而使推理网络和生成模型能够进行端到端的梯度优化训练，这种方法有助于在像文本生成这样的问题上使用丰富的生成模型并避免训练 VAE 时产生的后验崩溃现象，实验证明这种方法在标准的文本和图像数据集上胜过强有力的自回归和变分基线。

    Feb, 2018

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016