Jun, 2018

循环神经网络的动态同态性和均场理论：门控在信号传播中扮演重要角色

HTML
PDF
TL;DR本文通过mean field理论和随机矩阵理论的结合，解析了recurrent neural networks中gating机制的信号传播机理，并通过最小化的多层感知器网络(minimalRNN)与RNN的对比，研究了它们的训练性能。提出了初始方案的动态等角分解，并通过语言建模任务，证明了最小RNN可以与LSTM或GRU等复杂网络相媲美。
发现论文，激发创造
  • MinimalRNN: 更易于解释和训练的循环神经网络

    通过采用极简的更新规则，MinimalRNN在学习和测试上不仅高效，而且更易解释和训练。最后，通过考察输入输出的Jacobi矩阵，发现MinimalRNN能够捕捉比现有RNN结构更长程的依赖关系。

    Nov, 2017

  • 循环神经网络（RNN）和长短时记忆网络（LSTM）的基础知识

    该论文旨在通过从信号处理中提取概念，正式导出经典的RNN公式，揭示LSTM系统的组成部分，并将RNN转换为Vanilla LSTM网络，以便于理解和实现。在此基础上，作者提出了基于Vanilla LSTM的最新扩展，适合机器学习从业者参考和研究。

    Aug, 2018

  • LSTM和GRU的动态同构和平均场理论

    本研究使用平均场理论探究了LSTMs和GRUs中的信号传播，通过优化初始化超参数，开发出了一种新的初始化方案，解决了训练不稳定性问题，从而在多个序列任务上实现了成功的训练，并且在泛化能力上也有积极的影响。

    Jan, 2019

  • AntisymmetricRNN: 循环神经网络的动力系统视角

    本文提出了一种特殊的循环神经网络 AntisymmetricRNN，它通过稳定性方程来捕获长期依赖关系，相较于常规 LSTM 模型，AntisymmetricRNN 在长期依赖问题上表现更好，且结构更简单。

    Feb, 2019

  • 使用顺序非标准动力学改善循环神经网络的记忆能力

    探讨使用非正常的重复神经网络（RNNs）以解决梯度“消失/爆炸”的问题并提高“信噪比”。研究显示，具有非正常的重复连接矩阵的非正常RNN可以在序列处理任务中胜过其正交对应物。

    May, 2019

  • 改进循环神经网络的门控机制

    通过引入两个改进标准门控机制的修改，解决了门控机制在饱和状态下学习梯度的问题，在模拟记忆任务、序列图像分类、语言建模和强化学习等应用中有效提高了循环模型的性能。

    Oct, 2019

  • 递归神经网络的动态分析和特征值初始化器

    在本文中，我们通过权重矩阵的特征分解提出了一种分析循环神经网络中隐藏状态空间的新视角，解释了激活函数中的信息保存功能，基于特征分析为长期依赖提供了一个解释，并指出了回归任务和分类任务中特征值的不同行为。通过对训练良好的循环神经网络进行观察，我们提出了一种改良性能的新的循环神经网络初始化方法，在多个任务上胜过Xavier初始化器、kaiming初始化器以及其他仅适用于循环神经网络的初始化器，如IRNN和sp-RNN。

    Jul, 2023

  • 递归神经网络的梯度下降的收敛性: 非渐近分析

    我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

    Feb, 2024

  • 重新思考循环神经网络与非循环神经网络的关系：稀疏性研究

    神经网络可以划分为两种广义类别，递归和非递归。本文认为这两种神经网络类型之间存在比通常意识到的更为密切的关系，并阐述了其中的迭代映射关系。这种关系不仅限于理论上的Turing完全性，更涉及神经网络的训练和实践等方面的深入洞察。

    Apr, 2024

  • 解构递归、注意力和门控：探讨变换器和门控递归神经网络在动态系统预测中的可迁移性

    该研究解决了机器学习架构在动态系统预测中可迁移性缺乏明确验证的问题。通过分解和重组RNN和变换器的关键组件，研究发现神经门控和注意力机制可以普遍提升RNN的性能，而在变换器中引入递归概念则会适得其反。研究结果表明，结合递归高速公路网络的创新架构在高维时空预测中表现最佳。

    Oct, 2024