AAAISep, 2016

非线性状态空间模型的结构化推理网络

PDF
TL;DR本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。
gaussian state space modelssequential datalinear and non-linear state space modelsdeep neural networksstructured variational approximation
发现论文，激发创造
  • 变分高斯过程状态空间模型

    该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程，以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法（变分贝叶斯和顺序蒙特卡洛）进行主算法等。

    Jun, 2014

  • 利用粒子 MCMC 对高斯过程状态空间模型进行贝叶斯推断和学习

    通过向状态转移动力学分布中添加高斯过程先验，结合分析型建模和蒙特卡罗采样器进行直接联合平滑分布推断的方法，提出了一种非线性非参数状态空间模型的完全贝叶斯方法。

    Jun, 2013

  • 状态空间模型的黑箱变分推断

    通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

    Nov, 2015

  • 基于深度高斯马尔科夫随机场的图结构动态系统

    该论文提出了一种基于图结构状态空间模型的概率推理方法，利用深度学习和高斯马尔可夫随机场的有原则的推理方法，定义简单的空间和时间图层，并通过变分推理从单个时间序列中高效地学习出灵活的时空先验分布，可缩放地采样出闭合的后验。

    Jun, 2023

  • 交互动力系统的深度状态空间模型的廉价和确定性推理

    本文提出了一种基于图神经网络的深度状态空间模型，用于建模交互式动态系统，且预测分布为多峰高斯混合模型，同时提出了结构化的协方差近似方法，可以适用于具有多个智能体的系统，并在自动驾驶数据集上进行了测试并与现有技术进行了比较。

    May, 2023

  • 信念网络中的神经变分推断和学习

    我们提出了一种快速的非迭代近似推理方法，通过前馈网络实现从变分后验进行有效精确抽样，该方法通过应用几种直观的模型独立方差减少技术，优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法，并取得了最新成果。

    Jan, 2014

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 状态空间高斯过程模型中的快速变分学习

    该论文提出了一种使用 Kalman 递归实现线性时间推断的方法，避免了数值不稳定和收敛问题，通过实现该方法，解决了在处理非高斯似然时所遇到的麻烦，同时达到了快速稳定的变分推断效果，可处理包含百万数据点的时间序列的状态空间高斯过程模型。

    Jul, 2020

  • 通过顺序函数空间变分推断进行连续学习

    连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

    Dec, 2023

  • 高斯过程状态空间模型的识别

    本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

    May, 2017