Feb, 2024

长期时间序列预测的吸引子记忆：混沌视角

PDF
TL;DR在长期时间序列预测任务中，现有的深度学习模型忽视了离散时间序列起源于连续动态系统的关键特性，导致缺乏外推和演化能力。我们的模型 'Attraos' 将混沌理论引入长期时间序列预测中，将真实世界时间序列视为未知高维混沌动态系统的观测。在吸引子不变性的概念下，Attraos 利用提出的多尺度动态记忆单元来记忆历史动态结构，并通过频率增强的局部演化策略进行预测。详细的理论分析和丰富的实证证据一致表明，Attraos 在主流长期时间序列预测数据集和混沌数据集上优于各种长期时间序列预测方法。
long-term time series forecastingdeep learning modelschaos theoryattraosdynamic memory unit
发现论文，激发创造
  • 机器学习实现的吸引子重构

    利用名为 “储集计算” 的机器学习方法成功地进行了混沌动力系统的短期预测和吸引子重构研究。我们提出了一个理论框架，描述了储集计算可以创建具有短期预测能力和准确长期遗传行为的经验模型的条件，并通过数值实验说明了这个理论。我们还认为这个理论适用于某些其他时间序列预测的机器学习方法。

    May, 2018

  • 利用长短期记忆网络对高维混沌系统进行数据驱动的预测

    使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

    Feb, 2018

  • 长期序列预测是否需要复杂注意力和更长输入？

    本文提出了一种轻量级的 Periodformer 模型，采用 Period-Attention 机制和内置的近似性，同时嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多 GPU 异步并行算法加快了超参数优化，结果表明该模型在多元和单元预测方面的预测误差分别减少了 13% 和 26%，同时缩短了 46% 的搜索时间。

    Jun, 2023

  • 混沌奇异吸引子的机器学习

    利用混沌非线性吸引子实现低功耗的模拟计算方法，作为机器学习任务的通用平台提供卓越的性能，能够以毫瓦级功率与当前机器学习技术媲美，适用于聚类、回归和分类学习任务。

    Sep, 2023

  • 训练神经算子以保持混沌吸引子的不变量测度

    本文提出了一个针对混沌系统长期预测的框架，该框架旨在保留描述动力学的不变吸引子的不变统计特性。我们考虑两种方法来处理噪声数据的多环境设置中的训练，一种是基于观察到的动力学和神经操作器输出之间的最优输运距离的损失，另一种是不需要任何专业先前知识的对比学习框架。通过在各种混沌系统上进行实证验证，我们的方法在保持混沌吸引子的不变测度方面表现出很好的效果。

    Jun, 2023

  • 学习吸引子动力学用于生成记忆

    本研究展示了一个基于 Kanerva 机器提出的记忆写入即推理的思想，通过训练一个生成式分布式记忆，最大化其变分下界导出一个儒雅彼诺夫函数。实验结果表明，在迭代读取中收敛到正确的模式，并且在记忆模型和生成模型方面都具有有竞争力的性能。

    Nov, 2018

  • 混沌作为可解释的预测和数据驱动建模基准

    该论文介绍了一个包含 131 个已知的混沌动力系统的数据库，每个系统都与预计算的多变量和单变量时间序列相匹配，这些系统涵盖了天体物理学，气象学和生物化学等领域，并对每个系统的已知数学属性进行了注释，并通过多种方式使用该数据库进行了实验。

    Oct, 2021

  • 无需连续吸引子的持续学习信号和工作记忆

    基于我们的理论，我们为人工循环神经网络开发了一种新的初始化方案，优于需要学习时间动态的标准方法，并且提出了一种稳健的循环记忆机制，用于集成和维持方向信息而不需要环形吸引子。

    Aug, 2023

  • 利用小容器重构混沌吸引子 —— 拓扑的影响

    基于测量数据进行时间序列预测在广泛的应用中都是必须的，并且已经成为了广泛研究的主题。近年来，蓄水池计算已被证明是一种有效的方法，用于预测混沌动力学和从数据中重建混沌吸引子。本研究通过减小蓄水池的规模和复杂性，以提高硬件可操作性并更可靠地生产足够的替代模型。研究表明，与复杂的蓄水池拓扑相比，无耦合节点的蓄水池更可靠地产生长期时间序列预测。然后，我们将无耦合蓄水池的改进吸引子重建与所得替代系统的较小谱半径相连接。这些结果表明，节点度在确定所期望的动力学是否稳定于训练蓄水池的闭环操作中的自主替代系统中起着重要作用。就硬件可操作性而言，无耦合节点将允许在硬件架构中具有更大的自由度，因为不需要复杂的耦合设置，并且由于无耦合节点，系统响应对于空间和时间多路复用是等效的。

    Feb, 2024

  • 多分支径向基网络预测复杂混沌行为

    本研究提出了一种多分支网络方法，用于预测由复杂和混沌行为特征的物理吸引子的动力学。我们引入了一种独特的神经网络架构，由径向基函数（RBF）层和注意机制组成，旨在有效捕捉吸引子时序演化中的非线性相互依赖关系。我们的结果展示了使用包含约 28 分钟活动的 36,700 个时间序列观察值的真实数据集进行的 100 次预测中吸引子轨迹的成功预测。为了进一步说明我们提出技术的性能，我们提供了全面的可视化，展示了吸引子的原始和预测行为，并对观察到的结果与估计结果进行了定量衡量。总的来说，这项工作展示了先进机器学习算法在揭示复杂物理系统中隐藏结构方面的潜力，同时在需要准确的短期预测能力的各个领域提供了实际应用。

    Mar, 2024