人工神经网络轨迹的动力稳定性与混沌

Apr, 2024

人工神经网络轨迹的动力稳定性与混沌

Dynamical stability and chaos in artificial neural network trajectories along training

Kaloyan Danovski, Miguel C. Soriano, Lucas Lacasa

TL;DR通过分析网络轨迹和学习过程中的动力学特性，研究了浅层神经网络在简单分类任务中的演化过程，发现不同学习速率下的动力学和轨道稳定性，这一发现与神经网络和动力学系统理论的常见智慧相对照，为动力系统理论、网络理论和机器学习之间的相互交流提供了贡献。

Abstract

The process of training an artificial neural network involves iteratively adapting its parameters so as to minimize the error of the network's prediction, when confronted with a learning task. This iterative change can be naturally interpreted as a trajectory in network space -- a time

artificial neural network training algorithm dynamical system classification task convergence properties

发现论文，激发创造

神经网络物理模拟器中的不稳定性问题

通过分析神经网络在学习线性动力系统时的训练动态，我们发现在数据分布和权重初始化方案等方面可能会导致不稳定性和学习困难，并提出了相关的缓解策略。同时，我们探讨了离散时间和连续时间动力系统学习之间的重要区别以及对非线性系统的拓展。

Jun, 2024

学习网络的权重动态

使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化，我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。

Apr, 2024

神经网络作为动态系统的视角

从动力系统理论的角度考虑神经网络，本文回顾了有关特定模型下以下问题的最新结果：1. 集体动力学的表征；2. 数据分析中脉冲列的统计分析；3. 动力学与网络结构的相互作用；4. 突触可塑性效应。

Jan, 2009

神经网络训练的最小作用量原理

通过将神经网络视为一种随时间推移的动力系统，我们发现网络的输运映射中存在低动能位移偏差，并将其与泛化性能相关联，从而提出了一种新的学习算法，该算法可自动适应给定任务的复杂度，并在低数据情况下产生具有高泛化能力的网络。

Sep, 2020

学习的动态性：一种随机矩阵方法

本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

May, 2018

物理增强的神经网络预测有序与混沌

使用结构和对称性的 Hamilton 神经网络预测非线性系统从秩序到混沌的相空间轨迹，以亨农 - 海尔斯系统为例进行实证研究，该技术的实用性和混沌广泛存在性启示着广泛的应用前景。

Nov, 2019

训练神经算子以保持混沌吸引子的不变量测度

本文提出了一个针对混沌系统长期预测的框架，该框架旨在保留描述动力学的不变吸引子的不变统计特性。我们考虑两种方法来处理噪声数据的多环境设置中的训练，一种是基于观察到的动力学和神经操作器输出之间的最优输运距离的损失，另一种是不需要任何专业先前知识的对比学习框架。通过在各种混沌系统上进行实证验证，我们的方法在保持混沌吸引子的不变测度方面表现出很好的效果。

Jun, 2023

动态系统中深度神经网络在线自适应的控制理论技术

利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

Feb, 2024

利用混沌动力学作为深度神经网络的开发

本研究揭示了混沌的本质可以在各种先进的深度神经网络中找到，并基于这一发现提出了一种直接利用混沌动力学进行深度学习架构的新方法。通过对不同混沌系统进行系统评估，我们发现我们的框架在准确性、收敛速度和效率方面均优于传统深度神经网络。此外，我们还发现在我们的方案中有短暂混沌形成的积极作用。总体而言，本研究为混沌的整合提供了一条新路径，并洞察了在机器学习和神经形态计算领域中混沌动力学融合的前景。

May, 2024

Lyapunov 神经网络：自适应稳定性认证用于动态系统的安全学习

本文提出了一种基于神经网络构建 Lyapunov 函数并通过训练算法将其适应到状态空间中最大安全区域形状的方法，以学习非线性闭环动力系统的准确安全证明，并在模拟倒立摆中演示了该方法的应用，讨论了如何将该方法与动态系统的统计模型一起用于安全学习算法。

Aug, 2018