Apr, 2024

状态空间模型的变分量化

PDF
TL;DR使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。
发现论文，激发创造
  • 利用变分自动编码器学习困难量子分布

    研究如何应用机器学习技术中的一种生成模型 —— 变分自编码器来高效表示和编码一类难以对其进行采样的量子状态，该方法可以有效地对量子硬件中预期的大规模量子态进行描述和初步表征。

    Oct, 2017

  • 变分高斯过程状态空间模型

    该论文介绍了利用稀疏高斯过程进行非线性状态空间建模的高效变分贝叶斯学习的过程，以及后续的可处理的非线性动态系统建模、模型容量和计算成本的平衡、避免过度拟合以及使用混合推理方法（变分贝叶斯和顺序蒙特卡洛）进行主算法等。

    Jun, 2014

  • 状态空间模型的黑箱变分推断

    通过应用随机变分推断方法，提出一种结构化高斯近似后验，用于近似后验更普遍、非线性的潜变量生成模型，且相较于特定非共轭模型的定制化变分方法具有更好的表现；该方法旨在用于潜在动态结构模型的黑盒近似推断。

    Nov, 2015

  • VQ-AR: 向量量化自回归概率时间序列预测

    该论文介绍了一种新颖的自回归模型 VQ-AR，使用离散表示来预测未来，并在多个时间序列数据集上展示了其能够取得先进的性能。

    May, 2022

  • 马尔可夫方差转换的自适应时间序列预测

    基于在线学习理论，我们提出了一种新的估计方差的方法，可以适应时间变化。我们将提出的方法应用于合成数据和电力负荷预测问题，结果表明该方法对误差设定具有鲁棒性，并且优于传统的专家聚合方法。

    Feb, 2024

  • 利用随机变分推断的一般状态空间模型的时间序列聚类

    我们提出了一种基于模型的时间序列聚类方法，使用混合通用状态空间模型（MSSMs）。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型，从而提高聚类和预测精度，并增强估计参数的解释性。该方法使用随机变分推断（stochastic variational inference）来估计 MSSMs 的参数，并利用具有归一化流（normalizing flow）的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则（Bayesian information criterion）来估计聚类数量，并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明，该方法对于聚类、参数估计和聚类数量估计是有效的。

    Jun, 2024

  • 学习可解释的深度状态空间模型用于概率时间序列预测

    本文引入一种基于深度状态空间模型的概率时间序列预测方法，其中非线性发射模型和转移模型由网络参数化，并采用循环神经网络对其进行建模。通过自动相关性确定网络，我们还开发了一个利用外生变量的网络，以及估算外生变量不确定性，最终有助于确定有用的外生变量和压制预测中不相关的变量。使用蒙特卡罗模拟来逼近多步预测的分布，实验表明我们的模型可以准确地预测并且估算的时间随着预测步数的增加而逐渐增长。

    Jan, 2021

  • 离散潜在码的低秩适应轨迹预测

    运用矢量量化变分自编码器（VQ-VAEs）和基于扩散的预测模型，通过离散潜在空间和实例级编码矢量的动态调整，实现轨迹预测的准确性和多样性，达到了三个标准基准测试的最新性能水平。

    May, 2024

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • 基于混合状态空间的联合优化的顺序数据预测学习

    我们研究了在线环境下的非线性预测 / 回归问题，并引入了一种混合模型，通过状态空间的联合机制有效缓解了传统非线性预测模型中需要进行领域特定特征工程的问题，实现了非线性和线性组件的高效组合。

    Sep, 2023