关键词dynamical systems theory
搜索结果 - 8
- 蟒蛇状态空间模型可成为强大的下游学习模型
研究论文通过对 Mamba 状态空间模型进行多种实验和评估，证明了其在混合精度和参数高效微调方面的能力，同时还分析了其在上下文学习方面的性能与 Transformer 大型语言模型的差异，并提出了基于动力学系统理论的验证方法。
- 复杂递归频谱网络
该研究论文提出了一种通过复杂循环谱网络（C-RSN）的发展来促进人工智能（AI）的创新方法。C-RSN 模型整合了动力系统理论的关键概念，并利用统计力学的原理，引入了本地非线性、复杂固定特征值以及记忆与输入处理功能的独立分离，使其能够更接近 - 人工智能在脑电图预测中的应用：混沌理论
研究通过应用混沌理论和动力系统理论，采用基于 Transformer 的序列预测架构，分析了 32 个脑电图通道上的数据，并展现了其在 EEG 数据序列预测方面的强大可靠性和普适性。
- 学习具有时间感知行为的循环神经网络动态
本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。
- 寻找局部极小值点的双时间尺度外推法
利用动力学理论，我们证明了双时间尺度外推梯度法可以成为面对极小极大问题的一个可行解决方案，并消除了先前的假设条件使其收敛于满足局部极小极大点的二阶必要条件的点。
- 自动决策系统中反馈环路分类及其与偏见的关系
本文运用动态系统理论对基于机器学习的决策制定流程中的不同类型的反馈循环进行分类，为研究反馈循环提供了一个统一而有原则性的框架；通过定性分析和推荐系统的模拟示例，我们还发现了在 ML 偏见中存在哪些有可能会持续、加强或减少。
- 梯度下降收敛于最小值点
本文证明了随机初始化的梯度下降会收敛到局部最小值，证明使用了动力系统理论的 Stable Manifold Theorem。
- 神经网络作为动态系统的视角
从动力系统理论的角度考虑神经网络，本文回顾了有关特定模型下以下问题的最新结果：1. 集体动力学的表征；2. 数据分析中脉冲列的统计分析；3. 动力学与网络结构的相互作用；4. 突触可塑性效应。