Sep, 2023

基于混合状态空间的联合优化的顺序数据预测学习

PDF
TL;DR我们研究了在线环境下的非线性预测 / 回归问题，并引入了一种混合模型，通过状态空间的联合机制有效缓解了传统非线性预测模型中需要进行领域特定特征工程的问题，实现了非线性和线性组件的高效组合。
nonlinear predictiononline settinghybrid modelfeature extractiontime series data
发现论文，激发创造
  • 状态空间模型的变分量化

    使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

    Apr, 2024

  • 利用简单的离散状态空间有效建模时间序列

    提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计算效率提高，并在大量不同的基准测试中取得最先进的结果。

    Mar, 2023

  • 层级状态空间模型用于连续序列到序列建模

    基于原始感官数据的推理是一个普遍存在的问题，本研究提出了一种基于分层状态空间模型（HiSS）的新技术，用于连续的序列预测，并在六个真实传感器数据集上展示了其优越性。

    Feb, 2024

  • 频谱状态空间模型

    本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势。

    Dec, 2023

  • 联合选择状态空间模型和去趋势处理的鲁棒时间序列异常检测

    通过利用选择性状态空间模型和多阶段去趋势机制，该论文提出了一种用于时间序列异常检测的深度学习模型，能够有效地建模长程依赖关系并解决非平稳数据的泛化问题，实证实验表明该方法优于其他 12 个对比基准方法。

    May, 2024

  • 学习可解释的深度状态空间模型用于概率时间序列预测

    本文引入一种基于深度状态空间模型的概率时间序列预测方法，其中非线性发射模型和转移模型由网络参数化，并采用循环神经网络对其进行建模。通过自动相关性确定网络，我们还开发了一个利用外生变量的网络，以及估算外生变量不确定性，最终有助于确定有用的外生变量和压制预测中不相关的变量。使用蒙特卡罗模拟来逼近多步预测的分布，实验表明我们的模型可以准确地预测并且估算的时间随着预测步数的增加而逐渐增长。

    Jan, 2021

  • 基于序列重建的状态空间模型的时间序列异常检测

    本文提出一种基于序列编码器和解码器的，利用前后向时间信息学习双向动态的无监督异常检测方法，通过对正常样本状态空间的正则化和使用马氏距离评估异常等级，实现对复杂多元时间序列数据中异常数据模式的识别和潜在故障的检测。

    Mar, 2023

  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 长序列处理中的状态空间建模：对 Transformer 时代中的循环的调查

    对基于循环模型的顺序数据处理的最新方法进行了深入总结，并提供了关于体系结构和算法解决方案的完整分类，引导研究者在这一吸引人的研究领域进行进一步研究。

    Jun, 2024

  • 非线性状态空间模型的结构化推理网络

    本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

    Sep, 2016