非线性切换动态系统的坍缩摊销变分推理

Oct, 2019

非线性切换动态系统的坍缩摊销变分推理

Collapsed Amortized Variational Inference for Switching Nonlinear Dynamical Systems

Zhe Dong, Bryan A. Seybold, Kevin P. Murphy, Hung H. Bui

TL;DR该研究提出了一种高效的推理方法，其中关键点是学习一个推理网络，该网络可用作连续潜变量的提案分布，并对离散潜变量进行精确边缘化。通过使用重参数化技巧和随机梯度下降的端到端训练，我们表明这种方法可以成功地将时间序列数据进行分割，包括视频和三维人体姿势，以实现有意义的 “制度”。

Abstract

We propose an efficient inference method for switching nonlinear dynamical systems. The key idea is to learn an inference network which can be used as a proposal distribution for the continuous latent variables, while performing exact marginalization of the discrete latent variables. T

switching nonlinear dynamic systems inference network continuous and discrete latent variables reparameterization trick time series data segmentation

发现论文，激发创造

贝叶斯非参数推断的线性动态系统转换

使用贝叶斯非参数方法，将层次狄利克雷过程先验应用于两种切换动态模型，学习未知的持续光滑动态模式，同时推断动态依赖性的稀疏集，以学习具有变化状态维数的切换线性动态系统或具有变化自回归顺序的切换 VAR 过程，最终通过舞蹈蜜蜂序列、IBOVESPA 股票指数和机动目标跟踪应用程序展示模型的效用和灵活性

Mar, 2010

变分贝叶斯滤波的切换线性动力学

利用贝叶斯推断、变分自动编码器和具体松弛技术，学习从局部和高维观察中获取更全面和有意义的状态空间，从而提高在各种模拟任务中学习的动态准确性的能力。

May, 2019

自动编码变分贝叶斯

本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

Dec, 2013

信念网络中的神经变分推断和学习

我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

Jan, 2014

共享弱化变分推理的元学习

提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型，使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布，我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络，相比于 Monte-Carlo 近似的早期工作，我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性，并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估，证明了它比以前的方法具有更好的性能。

Aug, 2020

非线性动力系统中的潜在状态转变识别

本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法，并在逼真的合成环境中进行了实证研究，证明我们能够高准确性地恢复潜在状态动力学，相应地实现高未来预测准确性，并且能够快速适应新环境。

Jun, 2024

连续时间切换动态系统的马尔可夫链蒙特卡罗方法

该文提出了一种基于马尔科夫链蒙特卡罗方法的新型推断算法，用于在连续时间模型中获得精确的后验过程的样本，实现了贝叶斯参数估计，并估计了扩散协方差。

May, 2022

非线性状态空间模型的结构化推理网络

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

学习模型重新参数化：通过拟合 MCMC 分布实现隐式变分推断

介绍了一种新的算法，该算法通过再参数化、马尔可夫链蒙特卡罗和变分方法相结合，构建了一种非常灵活的隐式变分分布，避免了计算 Log 密度比率，因此易于适用于任意连续且可微模型，并且演示了拟合香蕉形状分布和训练变分自动编码器的应用。

Aug, 2017

用于图形模型中的顺序蒙特卡罗推理网络

本研究介绍了一种利用学习启发式逼近随机反演的方法来摊销有向图模型中的推理，它专门设计用作顺序蒙特卡罗方法中的提议分布。我们描述了一种构建和学习结构神经网络的方法，该网络表示图形模型的逆因子分解，从而得到一个有条件密度估计器，该估计器以所观察到的随机变量的特定值作为输入，并返回潜变量的分布的近似值。可以在离线、独立于任何特定数据集、在执行推理之前学习这个识别模型。这些网络的输出可以用作自动学习的高质量提议分布，以加速在各种问题设置中进行顺序蒙特卡罗。

Feb, 2016