Jul, 2023

递归神经网络的动态分析和特征值初始化器

PDF
TL;DR在本文中，我们通过权重矩阵的特征分解提出了一种分析循环神经网络中隐藏状态空间的新视角，解释了激活函数中的信息保存功能，基于特征分析为长期依赖提供了一个解释，并指出了回归任务和分类任务中特征值的不同行为。通过对训练良好的循环神经网络进行观察，我们提出了一种改良性能的新的循环神经网络初始化方法，在多个任务上胜过 Xavier 初始化器、kaiming 初始化器以及其他仅适用于循环神经网络的初始化器，如 IRNN 和 sp-RNN。
recurrent neural networkslong-term dependencyinformation decayshidden stateeigen analysis
发现论文，激发创造
  • 单幺正演化循环神经网络

    本文提出了一种新的神经网络架构，该架构学习一个特殊的方阵作为权重矩阵，使得隐藏层矩阵的特征值绝对值为 1，避免了权重矩阵导致的梯度问题；通过在复杂域中考虑隐藏状态并极具表达能力的参数化方法，为学习长期依赖任务带来了先进的结果。

    Nov, 2015

  • 特征值衰减意味着神经网络具有多项式时间可学习性

    研究神经网络学习使用不同激活函数的函数类的问题，探讨了最小的假设条件，该假设条件相应于 Gram 矩阵的特征值衰减。通过足够强的多项式特征值衰减，他们获得了所有相关参数的多项式时间算法，这是对 ReLU 网络的第一个以纯分布假设为基础的支持多项式时间算法的假设。特征值衰减是实际数据集上的观察结果。

    Aug, 2017

  • LSTM 和 GRU 的动态同构和平均场理论

    本研究使用平均场理论探究了 LSTMs 和 GRUs 中的信号传播，通过优化初始化超参数，开发出了一种新的初始化方案，解决了训练不稳定性问题，从而在多个序列任务上实现了成功的训练，并且在泛化能力上也有积极的影响。

    Jan, 2019

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

    提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

    May, 2019

  • 卷积循环神经网络在其临界点附近的动力学

    在输入较小且卷积核是幺正矩阵的条件下，我们考察了具有平滑 sigmoid 激活函数的单层卷积递归网络的动力学特性，其输出通过诸如立方根等压缩非线性函数与输入相关，且弛豫时间和信号传播的长度尺度都以幂律形式对输入敏感，当输入趋近于 0 时两者均发散。基本动力学机制是网络中的输入产生持续的活动，并进而控制附加输入或信号在空间上的传播抑或时间上的衰减。我们提供了当单个振荡强迫网络或背景值引发持续活动时的稳态的解析解，并导出了时间衰减和空间传播长度与背景值的关系。

    May, 2024

  • 一种基于状态空间的分段线性循环神经网络方法，用于从神经测量数据重建非线性动力学

    开发了一个半解析的最大似然估计方案，用于基于状态空间模型的分段线性递归神经网络（PLRNNs）中，可以在观察到的神经元时间序列中恢复出相关的动态，并直接将其与计算特性联系起来。

    Dec, 2016

  • 学习的动态性：一种随机矩阵方法

    本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

    May, 2018

  • 使用简单方法初始化修正线性单元的循环神经网络

    本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。

    Apr, 2015

  • 线性循环自编码器网络用于学习动力学

    本文提出了使用神经网络逼近 Koopman 算子的方法来学习非线性动态系统的低维逼近，并且讨论了与这种方法相关的数据表示问题和过拟合问题，提出了一种结合自编码器和线性递归动力学的新型神经网络架构来学习 Koopman 不变子空间。同时，还提出了在特征空间下过度规定的 EDMD 系统的均衡模型缩减方法和使用多核回归算法来提高低维状态下数据重构的精度，最后通过案例研究验证了这些技术的有效性。

    Dec, 2017