ICLRApr, 2023

自适应饱和循环神经网络：用更少的不稳定性记住更多

PDF
TL;DR本文研究借助正交参数化技术解决循环神经网络中的梯度弥散问题，提出了一种 Adaptive-Saturated RNNs (ASRNN) 变种，它动态调整饱和度水平，融合传统循环神经网络的高内存容量与正交循环神经网络的稳定性。实验结果表明，ASRNN 比其他几种竞争对手在具有挑战性的序列学习基准上表现更好。
orthogonal parameterizationvanishing gradient problemrecurrent neural networksasrnnmemory capacity
发现论文，激发创造
  • 使用顺序非标准动力学改善循环神经网络的记忆能力

    探讨使用非正常的重复神经网络（RNNs）以解决梯度 “消失 / 爆炸” 的问题并提高 “信噪比”。研究显示，具有非正常的重复连接矩阵的非正常 RNN 可以在序列处理任务中胜过其正交对应物。

    May, 2019

  • 卷积幺正或正交循环神经网络

    该研究使用卷积指数函数，将反对称或反 - 厄米卷积核变换为正交或幺正卷积核，用于解决递归神经网络中的梯度消失问题，并通过提出 FFT 算法来优化计算。

    Feb, 2023

  • 高阶递归神经网络用于声学建模

    本文提出了一种基于高阶循环神经网络 (HORNN) 的方法来解决训练标准循环神经网络 (RNN) 中的梯度消失问题，并通过使用 MGB3 数据集进行语音识别实验，证明了该方法可以显著减少字词错误率，同时使用仅为网络参数数目和计算量的 20%-50%。

    Feb, 2018

  • DizzyRNN：对循环神经网络重新参数化以保持范数的反向传播

    我们通过 Givens 旋转提出了一种标准循环神经网络的重新参数化方法，以在保持范数的情况下更新线性变换，并使用绝对值函数作为逐元素非线性，以在整个网络上保持反向传播信号的范数。实验证明，该重新参数化方法在保持相同算法复杂度的情况下，优于具有正交初始值的标准循环神经网络和长短期记忆网络。

    Dec, 2016

  • 面向建模长期依赖的非饱和循环单元

    本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。

    Jan, 2019

  • 非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

    提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

    May, 2019

  • 量化近似正交递归神经网络

    针对计算能力有限的设备，本文研究了正交循环神经网络（ORNNs）的量化问题，并提出了通过后训练量化和量化感知训练方法来实现量化正交 RNNs（QORNNs），实验结果表明量化感知训练比后训练量化更有效，最高效的模型在各种标准测试中达到与精确度 ORNN 和 LSTM 相似的结果，即使使用了 3 位量化。

    Feb, 2024

  • 使用 ReLU 激活函数的循环神经网络的路径归一化优化

    研究了循环神经网络参数空间的几何形状，并开发了一种适应于该几何形状的路径 - SGD 优化方法，它可以学习具有 ReLU 激活的普通 RNN。在一些需要捕捉长期依赖结构的数据集上，我们证明 path-SGD 可以显著提高 ReLU RNN 的可训练性，与使用 SGD 训练的 RNN 相比，即使使用各种最近推荐的初始化方案。

    May, 2016

  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • 门控正交循环单元：关于遗忘学习

    本文提出了一种基于递归神经网络（RNN）的新模型，它结合了单元 RNN 的记忆能力和门控 RNN 的遗忘冗余 / 无关信息的能力，并通过引入栅门机制扩展了单元 RNN。该模型能够在多项长期依赖基准任务上优于 LSTMs、GRUs 和单元 RNNs，并在多个自然顺序任务中提供有竞争力的结果，包括 bAbI 问题回答、TIMIT 音频预测、Penn TreeBank 和长期依赖的合成任务，如算法、括号、去噪和复制任务。

    Jun, 2017