May, 2024

循环神经网络：梯度消失和梯度爆炸并非问题的终点

HTML
PDF
TL;DR递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的RNN取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的观点为解释RNN梯度学习中的一些困难以及为什么有些架构表现更好提供了新的解释。
发现论文，激发创造
  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构——循环神经网络，并通过对语言建模等实验得出其同LSTM网络有着类似的性能表现。

    Dec, 2014

  • 强类型递归神经网络

    本文从物理学和函数式编程中导入思想探讨了基于强类型的循环神经网络（RNN）模型设计问题，提出动态平均池化和一维卷积的简化语义解释。实验证明，虽然更加受限制，但基于强类型的RNN模型在训练时可以达到比传统模型更低的误差率和相当的泛化能力。

    Feb, 2016

  • 长短期记忆作为动态计算的逐元素加权和

    通过解耦LSTM门控机制，作者提出了一种新的RNN类型，其中门控机制本身作为一种通用的循环模型，提供了比之前更强的表达能力，并且实验表明，门控机制单独在大多数情况下的表现不亚于LSTM，强烈暗示门控机制在实践中做得比消除消失梯度更多。

    May, 2018

  • 循环神经网络（RNN）和长短时记忆网络（LSTM）的基础知识

    该论文旨在通过从信号处理中提取概念，正式导出经典的RNN公式，揭示LSTM系统的组成部分，并将RNN转换为Vanilla LSTM网络，以便于理解和实现。在此基础上，作者提出了基于Vanilla LSTM的最新扩展，适合机器学习从业者参考和研究。

    Aug, 2018

  • AntisymmetricRNN: 循环神经网络的动力系统视角

    本文提出了一种特殊的循环神经网络 AntisymmetricRNN，它通过稳定性方程来捕获长期依赖关系，相较于常规 LSTM 模型，AntisymmetricRNN 在长期依赖问题上表现更好，且结构更简单。

    Feb, 2019

  • 使用顺序非标准动力学改善循环神经网络的记忆能力

    探讨使用非正常的重复神经网络（RNNs）以解决梯度“消失/爆炸”的问题并提高“信噪比”。研究显示，具有非正常的重复连接矩阵的非正常RNN可以在序列处理任务中胜过其正交对应物。

    May, 2019

  • 循环神经网络中的持续学习

    本文针对循环神经网络(RNNs)顺序数据的连续学习(CL)方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了RNNs上的连续学习问题。

    Jun, 2020

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM)及其变体，在训练过程中解决长序列中的梯度消失/爆炸问题，并详细介绍了LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 递归神经网络的梯度下降的收敛性: 非渐近分析

    我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

    Feb, 2024