状态空间模型的黑箱变分推断

Nov, 2015

Black box variational inference for state space models

Evan Archer, Il Memming Park, Lars Buesing, John Cunningham, Liam Paninski

TL;DR通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

Abstract

latent variable time-series models are among the most heavily used tools from machine learning and applied statistics. These models have the advantage of learning latent structure both from noisy observations and from the temporal ordering in the data, where it is assumed that meaningf

latent variable time-series models stochastic variational inference approximate inference generative models posterior inference

发现论文，激发创造

结构化黑盒变分推断用于潜在时间序列模型

介绍了一种类似于前向 - 后向算法的 BBVI 算法，它可以使得我们高效地从变分分布中进行采样，并且可以估计 ELBO 梯度。在动态词嵌入模型上的结果证明了我们方法的有效性。

Jul, 2017

黑匣子变分推断

本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

变分高斯过程状态空间模型

该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程，以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法（变分贝叶斯和顺序蒙特卡洛）进行主算法等。

Jun, 2014

随机微分方程的黑匣子变分推理

本文介绍了一种使用欧拉 - 马鲁雅马方法对扩散过程离散化，并应用变分推断方法共同学习参数和扩散路径的方法。这种方法使用平均场变分近似参数后验分布，并引入递归神经网络来近似参数条件下扩散路径的后验分布，所得结果可用于具有轻微调整需求的任何 SDE 系统，并在短短几个小时内产生准确的参数估计。

Feb, 2018

自动编码变分贝叶斯

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

状态空间高斯过程模型中的快速变分学习

该论文提出了一种使用 Kalman 递归实现线性时间推断的方法，避免了数值不稳定和收敛问题，通过实现该方法，解决了在处理非高斯似然时所遇到的麻烦，同时达到了快速稳定的变分推断效果，可处理包含百万数据点的时间序列的状态空间高斯过程模型。

Jul, 2020

非线性状态空间模型的结构化推理网络

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

高斯过程模型输入不确定性的变分推断

本文提出了一种贝叶斯方法，通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

Sep, 2014

变分贝叶斯推断潜变量模型的参数和结构

本文提出了变分贝叶斯 (Variational Bayes) 框架，通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

Jan, 2013

状态空间模型的变分量化

使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

Apr, 2024