Apr, 2024

学习网络的权重动态

PDF
TL;DR使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化，我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。
发现论文，激发创造
  • 人工神经网络轨迹的动力稳定性与混沌

    通过分析网络轨迹和学习过程中的动力学特性，研究了浅层神经网络在简单分类任务中的演化过程，发现不同学习速率下的动力学和轨道稳定性，这一发现与神经网络和动力学系统理论的常见智慧相对照，为动力系统理论、网络理论和机器学习之间的相互交流提供了贡献。

    Apr, 2024

  • 学习的动态性：一种随机矩阵方法

    本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

    May, 2018

  • Lyapunov 神经网络：自适应稳定性认证用于动态系统的安全学习

    本文提出了一种基于神经网络构建 Lyapunov 函数并通过训练算法将其适应到状态空间中最大安全区域形状的方法，以学习非线性闭环动力系统的准确安全证明，并在模拟倒立摆中演示了该方法的应用，讨论了如何将该方法与动态系统的统计模型一起用于安全学习算法。

    Aug, 2018

  • 在递归脉冲神经网络中通过稳定的局部学习预测非线性动态

    提出一种基于前馈和反馈连接的异质性尖峰神经元网络的监督学习方案，采用负收益的反馈固定随机连接，与在线和本地规则同时改变权重，在线学习线性，非线性和混沌动力学以及两段臂的动力学。

    Feb, 2017

  • 神经网络物理模拟器中的不稳定性问题

    通过分析神经网络在学习线性动力系统时的训练动态，我们发现在数据分布和权重初始化方案等方面可能会导致不稳定性和学习困难，并提出了相关的缓解策略。同时，我们探讨了离散时间和连续时间动力系统学习之间的重要区别以及对非线性系统的拓展。

    Jun, 2024

  • 神经网络早期学习动力学的出乎意料的简单性

    本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。

    Jun, 2020

  • 深度线性神经网络学习非线性动力学的精确解

    通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

    Dec, 2013

  • 随机微分方程网络学习

    该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题，并证明了在较高采样率的情况下，利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。

    Nov, 2010

  • 构建稳健、局部线性的深度网络

    本文提出了一种新的学习问题，以促进深度网络具有更大区域上的稳定导数，针对使用分段线性激活函数的网络实现此目标，通过推理和优化步骤来扩展线性逼近有效区域，对图像和序列数据集的残差网络和循环网络进行了演示。

    Jul, 2019

  • 通过稳定的边界学习阈值神经元

    本文研究了大学习率下神经网络训练的非凸性动态，证明了时的稳定性边界，并发现了控制阈值激活函数的第一层偏置和学习率之间的相互关系。

    Dec, 2022