May, 2024

储层核心模式空间中的预测建模

PDF
TL;DR基于线性水库的核观点，提出一种时间序列预测方法，利用水库核的时间序列模式作为表示基础，并与最新的 Transformer 模型和 LSTM 模型进行实证实验比较，结果表明即使采用线性读出，我们的方法在单变量时间序列上能够超过 Transformer 模型，在多变量基准数据集上也能够取得竞争性的结果，这表明简单模型能够胜过过度复杂的深度学习模型。
time series predictionkernel viewlinear reservoirsreservoir motifstransformer models
发现论文，激发创造
  • 一种周期时间序列预测的新型储备架构

    本文介绍了一种基于储层计算的新方法，用于预测周期性时间序列，特别适用于生成音乐节奏等需要精确预测节奏的任务。我们的方法利用储层计算，并以预测人类节奏感知为最终目标。我们的网络准确地预测人类频率感知范围内的节奏信号。模型结构包含主要和中间神经元，用于捕捉和传递节奏信息。两个参数矩阵 c 和 k 调节储层的动态特性。我们提出了一个损失函数来调整训练后的 c，并引入了一种动态选择机制来调整 k，以便关注具有杰出贡献的区域。在多样化的测试集上的实验结果展示了准确的预测，并通过实时调整储层的 c 和 k 进一步提高了预测性能。比较评估结果显示其相对于传统模型具有更出色的性能。

    May, 2024

  • 用于多元时间序列表示和分类的水库计算方法

    采用水库计算方法的多元时间序列分类技术，基于线性模型训练产生 MTS 的低维嵌入的参数来编码每个 MTS，应用时附带中间的维度重组程序，以及提供不同的模块以轻松创建高级的 RC 架构的增量式 RC 框架，比其他 MTS 分类器更快，还能实现更高的分类精度。

    Mar, 2018

  • 机器学习实现的吸引子重构

    利用名为 “储集计算” 的机器学习方法成功地进行了混沌动力系统的短期预测和吸引子重构研究。我们提出了一个理论框架，描述了储集计算可以创建具有短期预测能力和准确长期遗传行为的经验模型的条件，并通过数值实验说明了这个理论。我们还认为这个理论适用于某些其他时间序列预测的机器学习方法。

    May, 2018

  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • 利用储层计算从时间序列中无监督提取缓慢变动系统参数动态预测未观测到的分叉

    使用水库计算框架从时间序列数据中无监督地提取系统的缓慢变化参数，进而预测快速动态中未知的分岔现象。

    Jun, 2024

  • 自主预测与长期家庭能源负荷预测的自旋物理储存器

    通过使用具有非线性磁化特性的纳米磁隧道结构作为物理水库，结合简单的线性回归进行在线训练和自主预测，本研究在动态时间序列数据和混沌时间序列数据上进行了建模，并在高精度、低内存和低能耗的硬件资源上实现了预测。

    Apr, 2023

  • 离散时间特征和储备计算的随机性

    本文提出了新的几何解释，解释了库沃塞蓝计算的现象，将其构建为强普适性水库系统；随机投影所有状态空间系统的家族，以产生 Volterra 级数扩展，生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。

    Sep, 2020

  • 具有循环结构的可伸缩深度核学习

    提出了 GP-LSTM 模型，利用可闭合表达式内核，在保留高斯过程非参数概率优势的同时，完全包含了 LSTM 递归神经网络的归纳偏置，能够很好地用于处理序列数据，提升了自动驾驶等领域的预测准确性。

    Oct, 2016

  • 物理信息卷积循环代理模型在考虑井控制的储层模拟中的应用

    本文提出了一种新颖的代理模型 -- 物理知识卷积递归神经网络（PICRNN），用于建模具有井控制的井下流体流动。

    May, 2023

  • 无限维储水池计算

    提出了一种基于无限维状态空间系统积分表示的读出特性的新概念类，它具有较强的实用性和通用近似性质，其中利用了随机生成的线性或 ReLU 激活函数的回声状态网络，并以仅训练输出层的随机神经网络为基础构建读出模型，所得到的结果是具有证明收敛性保证的可全面实现的递归神经网络学习算法，不受维度灾难影响。

    Apr, 2023