Nov, 2017

使用粒子马尔科夫蒙特卡罗推理的状态空间 LSTM 模型

PDF
TL;DR介绍了一种结合状态空间模型和 LSTM 的方法，提出了一种有效使用序贯蒙特卡洛方法的采样器。实验结果表明 SMC 推理算法在多个领域中具有优越性和稳定性。
long short-term memorystate space lstmsequence modelsinterpretabilitysmc inference algorithm
发现论文，激发创造
  • 概率循环状态空间模型

    本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性， 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

    Jan, 2018

  • 卷积状态空间模型用于长程时空建模

    ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.

    Oct, 2023

  • 利用随机变分推断的一般状态空间模型的时间序列聚类

    我们提出了一种基于模型的时间序列聚类方法，使用混合通用状态空间模型（MSSMs）。该方法的优势在于能够根据具体的时间序列使用适当的时间序列模型，从而提高聚类和预测精度，并增强估计参数的解释性。该方法使用随机变分推断（stochastic variational inference）来估计 MSSMs 的参数，并利用具有归一化流（normalizing flow）的神经网络作为变分估计器来估计任意状态空间模型的潜在变量。可以使用贝叶斯信息准则（Bayesian information criterion）来估计聚类数量，并通过引入熵退火等优化技巧来防止 MSSMs 陷入局部最优。在模拟数据集上的实验表明，该方法对于聚类、参数估计和聚类数量估计是有效的。

    Jun, 2024

  • Mamba-360：状态空间模型作为长序列建模的 Transformer 替代方案调研：方法、应用和挑战

    序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范式，因为其性能更优越。然而，转换器面临 O (N^2) 注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题，其中使用频谱网络或卷积在一些任务上表现良好，但仍然难以处理长序列。状态空间模型（SSMs）已经成为此背景下序列建模范式的有希望的可替代选择，特别是随着 S4 及其变种（如 S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba 等）的出现。本综述将基于门控结构、结构体系和循环结构对基础 SSMs 进行分类，还重点介绍了 SSMs 在视觉、视频、音频、语音、语言（特别是长序列建模）、医疗（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析等领域的不同应用。此外，我们总结了 SSMs 在长序列竞技场（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2 以及早餐、硬币、LVU 等各种时间序列数据集上的性能。有关 Mamba-360 工作的项目页面可在此网页上找到：https://github.com/badripatro/mamba360。

    Apr, 2024

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 在线变分顺序蒙特卡洛

    在该研究中，我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛（VSMC）方法，在时间上分布了 VSMC 代理 ELBO 的梯度的近似，从而实现了面向数据流的在线学习，能够高效地进行参数估计和粒子提议适应。同时，我们提供了与数据量趋于无穷大时该算法收敛性质的严格理论结果，以及在批处理设置中的出色收敛性和实用性的数值说明。

    Dec, 2023

  • 状态空间模型中的状态幻觉

    通过对比转换器架构的普遍存在的理论弱点，我们的分析揭示了状态空间模型在状态跟踪方面与转换器非常相似的表达能力的限制，这可能从根本上限制了它们解决现实世界状态跟踪问题的能力。

    Apr, 2024

  • 利用粒子 MCMC 对高斯过程状态空间模型进行贝叶斯推断和学习

    通过向状态转移动力学分布中添加高斯过程先验，结合分析型建模和蒙特卡罗采样器进行直接联合平滑分布推断的方法，提出了一种非线性非参数状态空间模型的完全贝叶斯方法。

    Jun, 2013

  • 利用简单的离散状态空间有效建模时间序列

    提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

    Mar, 2023

  • 利用结构化状态空间高效建模长序列

    提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

    Oct, 2021