Mar, 2024

非参数自动微分变分推断与样条逼近

PDF
TL;DR我们提出了一种基于样条的非参数逼近方法，可以灵活逼近具有复杂结构的后验分布，如偏度、多峰性和有界支持。通过采用样条逼近，我们得到了重要性加权自编码器的下界，并建立了渐近一致性。实验证明了该方法在逼近复杂的后验分布和提高具有不完整数据的生成模型性能方面的高效性。
automatic differentiation variational inferencespline-based nonparametric approximationskewnessmultimodalitybounded support
发现论文，激发创造
  • Stan 中的自动变分推断

    本文介绍了一种名为自动微分变分推断（ADVI）的方法，可以通过输入一个贝叶斯模型和数据集，自动确定适当的变分族并优化变分目标，而且支持广泛类别的模型，本方法在 Stan 中实现，可用于各类模型的变分推断。

    Jun, 2015

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统 ELBO 或 IWAE 的优势，特别是在 latents 变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 自动微分变分推断

    使用自动微分变分推理自动推导出高效的变分推理算法，使科学家可以更高效地循环实现多个概率模型，并应用于不同的数据集。

    Mar, 2016

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023

  • 非参数变分推断

    本文提出了一种基于非参数核密度估计的变分逼近方法，通过优化内核位置和带宽参数最大化数据边际似然下限，不同于其他变分逼近方法，本方法能够捕捉后验分布的多个模式，并成功应用于各种图模型和非线性矩阵分解模型中，预测性能优于更专业化的变分方法和基于样本的逼近方法。

    Jun, 2012

  • 半摊分变分自编码器

    我们提出了一种半摊分解方法，使用摊分变分推断 (Amortized Variational Inference，AVI) 来初始化变分参数并运行随机变分推断 (Stochastic Variational Inference，SVI) 来细化它们，从而使推理网络和生成模型能够进行端到端的梯度优化训练，这种方法有助于在像文本生成这样的问题上使用丰富的生成模型并避免训练 VAE 时产生的后验崩溃现象，实验证明这种方法在标准的文本和图像数据集上胜过强有力的自回归和变分基线。

    Feb, 2018

  • 异步分布式变分高斯过程回归

    提出了一种基于参数服务器的异步分布式变分高斯过程回归方法 ADVGP 解决了高斯过程的计算成本问题，提高了可伸缩性、预测性能和回归精度。

    Apr, 2017

  • 自动结构化变分推断

    介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

    Feb, 2020

  • 半隐式变分推断

    使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族，可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本，并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.

    May, 2018

  • 双半隐式变分推断

    提出了一种名为 DSIVI 的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的 ELBO 下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

    Oct, 2018