May, 2024

利用混沌动力学作为深度神经网络的开发

PDF
TL;DR本研究揭示了混沌的本质可以在各种先进的深度神经网络中找到，并基于这一发现提出了一种直接利用混沌动力学进行深度学习架构的新方法。通过对不同混沌系统进行系统评估，我们发现我们的框架在准确性、收敛速度和效率方面均优于传统深度神经网络。此外，我们还发现在我们的方案中有短暂混沌形成的积极作用。总体而言，本研究为混沌的整合提供了一条新路径，并洞察了在机器学习和神经形态计算领域中混沌动力学融合的前景。
发现论文，激发创造
  • 通过瞬态混沌实现深度神经网络的指数表现能力

    本文利用黎曼几何和高维混沌的平均场理论相结合，研究了具有随机权重的通用深度神经网络中信号传播的性质。我们的研究结果揭示了从秩序相到混沌相的表达能力相变，并证明了浅层网络无法高效地计算这种深度随机函数族。此外，我们定量证明了深度网络可以将输入空间中高度曲率的流形分解成隐藏空间中的平坦流形。

    Jun, 2016

  • 物理增强的神经网络预测有序与混沌

    使用结构和对称性的 Hamilton 神经网络预测非线性系统从秩序到混沌的相空间轨迹，以亨农 - 海尔斯系统为例进行实证研究，该技术的实用性和混沌广泛存在性启示着广泛的应用前景。

    Nov, 2019

  • 人工智能在脑电图预测中的应用：混沌理论

    研究通过应用混沌理论和动力系统理论，采用基于 Transformer 的序列预测架构，分析了 32 个脑电图通道上的数据，并展现了其在 EEG 数据序列预测方面的强大可靠性和普适性。

    Oct, 2023

  • 机器学习在动态系统建模与分析中的应用

    使用物理上知悉的神经网络方法来分析含有一种运动第一积分的非线性哈密顿系统，并提出了一种结构，将现有的哈密顿神经网络结构与 Adaptable Symplectic 循环神经网络相结合，可以在整个参数空间内预测动力学，保留哈密顿方程以及相空间的辛结构。同时，利用神经网络的高维非线性能力，结合 Long Short Term Memory 网络进行判断嵌入定理的实现，构造系统的延迟嵌入，并将拓扑不变吸引子映射到真实形式。该方法对于单参数势能有效，并且即使在较长时间内也能提供准确的预测结果。

    Jul, 2023

  • 基于多步神经网络的非线性动力系统数据驱动发现

    这篇论文提出了一种利用深度神经网络和数值分析相结合的机器学习方法，用于从数据中识别非线性动态系统，以此预测未来状态和识别吸引基。在多个基准问题中，论文证明了该方法的有效性，包括学习洛仑兹系统、圆柱背后的流体动力学、Hopf 分岔和糖酵解振荡器模型。

    Jan, 2018

  • 神经网络如何学习分类混沌时间序列

    本文研究了神经网络在对正常与混沌时间序列进行分类训练时的内在机制，并提出了一种新型网络架构 —— 大核卷积神经网络（LKCNN），比传统的一些网络架构更加高效。针对低精度的神经网络分类问题，提出了一种使用输入周期性和激活周期性的新颖方法，使得分类结果的准确率得到提高。

    Jun, 2023

  • 人工神经网络轨迹的动力稳定性与混沌

    通过分析网络轨迹和学习过程中的动力学特性，研究了浅层神经网络在简单分类任务中的演化过程，发现不同学习速率下的动力学和轨道稳定性，这一发现与神经网络和动力学系统理论的常见智慧相对照，为动力系统理论、网络理论和机器学习之间的相互交流提供了贡献。

    Apr, 2024

  • 控制混沌：在递归神经网络的训练中强制执行动力学不变量

    运用遍历理论引入机器学习的新型训练方式，强制实现系统中的动力学不变量，以提高在有限数据情况下对混沌动力学系统的长期预测能力，用回声状态网络体系结构进行演示，并以 Lorenz1996 混沌动力学系统和光谱拟地转模型为测试案例，取得了丰硕成果。

    Apr, 2023

  • 学习稳定深度动力学模型

    本文提出了一种稳定学习动态系统的方法，该方法采用联合学习动态模型和李雅普诺夫函数的方法，这样学习的系统在整个状态空间内保持稳定，同时它也能够被结合到其他深度生成模型中学习复杂的动态系统，例如视觉纹理。

    Jan, 2020

  • TensorFlow 混沌预测和爆炸

    利用 TensorFlow 库预测混沌系统的短期动力学并发现其长期可预测性存在问题。

    Sep, 2023