Apr, 2023

控制混沌：在递归神经网络的训练中强制执行动力学不变量

PDF
TL;DR运用遍历理论引入机器学习的新型训练方式，强制实现系统中的动力学不变量，以提高在有限数据情况下对混沌动力学系统的长期预测能力，用回声状态网络体系结构进行演示，并以 Lorenz1996 混沌动力学系统和光谱拟地转模型为测试案例，取得了丰硕成果。
发现论文，激发创造
  • 广义教师强制学习混沌动力学

    通过对混沌动力系统进行简单的修改以及与可处理的递归神经网络设计的简单架构重排，可以在低维空间中准确还原动力系统，并在真实世界数据上表现出较高的性能。

    Jun, 2023

  • 训练神经算子以保持混沌吸引子的不变量测度

    本文提出了一个针对混沌系统长期预测的框架，该框架旨在保留描述动力学的不变吸引子的不变统计特性。我们考虑两种方法来处理噪声数据的多环境设置中的训练，一种是基于观察到的动力学和神经操作器输出之间的最优输运距离的损失，另一种是不需要任何专业先前知识的对比学习框架。通过在各种混沌系统上进行实证验证，我们的方法在保持混沌吸引子的不变测度方面表现出很好的效果。

    Jun, 2023

  • 使用机器学习复制混沌吸引子并从数据计算李亚普诺夫指数

    利用机器学习中的 “水库计算” 技术提出了一种无模型估计混沌系统 Lyapunov 指数的方法，其通过一个高维动力系统为水库的时间序列提供输入，并使用线性回归来学习输出权重，最终得到 Lyapunov 指数的估计。

    Oct, 2017

  • 基于 SyCo-AE 的小数据混沌动力学简化建模：合成约束自编码器

    使用自编码器的非线性降维和神经网络的非线性操作推断，通过在降维空间中引入合成约束，解决了混沌动力学的降阶建模问题，使模型既能够保持完全非线性和高度不稳定，又能防止发散，在经典的 Lorenz 方程中进行了演示，并表明我们的方法可以使用更少的数据产生较低误差的中长程预测。

    May, 2023

  • 机器学习实现的吸引子重构

    利用名为 “储集计算” 的机器学习方法成功地进行了混沌动力系统的短期预测和吸引子重构研究。我们提出了一个理论框架，描述了储集计算可以创建具有短期预测能力和准确长期遗传行为的经验模型的条件，并通过数值实验说明了这个理论。我们还认为这个理论适用于某些其他时间序列预测的机器学习方法。

    May, 2018

  • 利用混沌动力学作为深度神经网络的开发

    本研究揭示了混沌的本质可以在各种先进的深度神经网络中找到，并基于这一发现提出了一种直接利用混沌动力学进行深度学习架构的新方法。通过对不同混沌系统进行系统评估，我们发现我们的框架在准确性、收敛速度和效率方面均优于传统深度神经网络。此外，我们还发现在我们的方案中有短暂混沌形成的积极作用。总体而言，本研究为混沌的整合提供了一条新路径，并洞察了在机器学习和神经形态计算领域中混沌动力学融合的前景。

    May, 2024

  • AI-Lorenz：一种用于深度学习物理推理的黑盒和灰盒混沌系统鉴定框架

    通过从嘈杂和稀疏的可观测数据中识别微分方程，我们开发了一个框架，学习建模复杂动力行为的数学表达式，从而填补了基于经验数据而非已知物理机制的系统的数学模型的空白。

    Dec, 2023

  • 利用储集器计算机进行吸引子重建：储集器的条件 Lyapunov 指数对忠实吸引子重建的影响

    通过数量化的关联分析，我们发现驱动储层计算机的最大条件 Lyapunov 指数必须显著小于真实系统最小的 Lyapunov 指数，使得吸引子重构和 Lyapunov 指数估计得以成功，并且小谱半径的储层计算机通常在一般情况下表现更好。

    Dec, 2023

  • 卷积生成对抗网络生成混沌时间序列的评估

    使用卷积神经网络和生成式对抗网络，我们生成了混沌时间序列，并使用非线性时间序列分析方法计算得出，该生成模型可以较好地重现原始时间序列的混沌特性，但存在学习误差。

    May, 2023

  • 使用重量约束随机动力学进行更好的训练

    本研究介绍了一种通过引入定制化约束条件来减少神经网络权重梯度消失或爆发问题、提高分类边界的平滑性以及稳定深度神经网络，从而增强训练算法的稳健性和神经网络的泛化能力的方法。同时，还通过平衡重要性的 SG-MCMC 方法将这些约束条件有效地整合到一个随机梯度 Langevin 模型中，进一步探索损失函数的空间。值得注意的是，这些优化方式不需要适应神经网络体系结构设计选择或修改目标函数的正则化项，并且在分类任务中显示出较好的性能表现。

    Jun, 2021