利用随机变分推断的一般状态空间模型的时间序列聚类

Jun, 2024

利用随机变分推断的一般状态空间模型的时间序列聚类

Time Series Clustering with General State Space Models via Stochastic Variational Inference

Ryoichi Ishizuka, Takashi Imai, Kaoru Kawamoto

TL;DR我们提出了一种基于模型的时间序列聚类方法，使用混合通用状态空间模型（MSSMs）。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型，从而提高聚类和预测精度，并增强估计参数的解释性。该方法使用随机变分推断（stochastic variational inference）来估计 MSSMs 的参数，并利用具有归一化流（normalizing flow）的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则（Bayesian information criterion）来估计聚类数量，并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明，该方法对于聚类、参数估计和聚类数量估计是有效的。

Abstract

In this paper, we propose a novel method of model-based time series clustering with mixtures of general state space models (MSSMs). Each component of MSSMs is associated with each cluster. An advantage of the proposed method is that it enables the use of time series models appropriate

time series clustering general state space models stochastic variational inference latent variables bayesian information criterion

发现论文，激发创造

概率循环状态空间模型

本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性，并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

Jan, 2018

状态空间模型的变分量化

使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

Apr, 2024

变分高斯过程状态空间模型

该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程，以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法（变分贝叶斯和顺序蒙特卡洛）进行主算法等。

Jun, 2014

从泛化分析到状态空间模型的优化设计

本文研究了状态空间模型（SSM）的普适性，并提出基于普适性结果改进训练算法的方法。具体地，我们给出了一种依赖数据的 SSM 普适性界限，展示了 SSM 参数与训练序列的时间依赖性之间的相互作用。基于该普适性界限，我们（1）建立了一个基于提出的普适性度量的模型初始化缩放规则，显著提高了 SSM 对序列数据中不同时间模式的输出值尺度的稳健性；（2）引入了一种新的正则化方法来提高 SSM 的普适性性能。通过数值实验验证了我们的结果。

May, 2024

状态空间模型的黑箱变分推断

通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

Nov, 2015

在线变分顺序蒙特卡洛

在该研究中，我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛（VSMC）方法，在时间上分布了 VSMC 代理 ELBO 的梯度的近似，从而实现了面向数据流的在线学习，能够高效地进行参数估计和粒子提议适应。同时，我们提供了与数据量趋于无穷大时该算法收敛性质的严格理论结果，以及在批处理设置中的出色收敛性和实用性的数值说明。

Dec, 2023

可扩展贝叶斯状态空间模型的变分推断与 SMC 取样算法

本文提出了一种可扩展的近似贝叶斯推断方法，在泛型状态空间模型中，相较于粒子 MCMC 提供了动态潜在状态和模型静态参数的完全贝叶斯推断，从而在多元随机波动模型和自激兴奋点过程模型中实现了可扩展的推断。

May, 2018

高斯过程状态空间模型的识别

本文介绍了 Gaussian 过程状态空间模型，并探讨最大的挑战 —— 系统识别，提出了基于双向循环神经网络的结构化高斯变分后验分布来处理推断问题，并使用重参数化技巧有效计算边缘似然的下界，可以在观察到真实系统的少量数据后生成可信赖的未来轨迹。

May, 2017

神经连续 - 离散状态空间模型用于不规则采样的时间序列

提出了神经连续 - 离散状态空间模型 (NCDSSM)，用于对时间序列进行连续时间建模。该模型使用辅助变量进行识别和动态分离，从而仅需要为辅助变量进行摊销推理。通过连续离散滤波理论，提出了三种灵活的潜在动态参数化方法和一种能够较快地进行后验推理的训练目标函数。实验结果表明，NCDSSM 在多个基准数据集上都比现有模型具有更好的插补和预测性能。

Jan, 2023

利用简单的离散状态空间有效建模时间序列

提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

Mar, 2023