具有缩放 Cayley 变换的正交循环神经网络

Jul, 2017

具有缩放 Cayley 变换的正交循环神经网络

Orthogonal Recurrent Neural Networks with Scaled Cayley Transform

Kyle Helfrich, Devin Willmott, Qiang Ye

TL;DR本文提出了一种使用斜对称矩阵参数化 Cayley 变换来维持正交循环权重矩阵并克服负特征值限制的更新方案，在多个实验中证明了比其他单元 RNN 的表现更优秀，需要的可训练参数更少。

Abstract

recurrent neural networks (RNNs) are designed to handle sequential data but suffer from vanishing or exploding gradients. Recent work on Unitary Recurrent Neural Networks (uRNNs) have been used to address this issue and in some cases, exceed the capabilities of Long Short-Term Memory n

recurrent neural networks unitary recurrent neural networks orthogonal recurrent weight matrices cayley transform gradient calculation

发现论文，激发创造

使用缩放 Cayley 变换的复数单位循环神经网络

本文介绍一种基于复数伸缩 Cayley 变换的酉循环神经网络，通过使用能够使用梯度下降进行优化的对角伸缩矩阵，在不需要调整超参数的情况下，实现比 scoRNN 和其他酉循环神经网络更好的结果。

Nov, 2018

全容量幺模循环神经网络

本文提出了使用全容量矩阵优化可微分流形上的酉矩阵的全容量 URNN，以解决循环神经网络中的梯度消失和爆炸问题，并证明了该参数化在隐藏状态维度大于 7 时具有受限制的容量，实验结果表明新模型在合成和自然数据上均具有优异的性能。

Oct, 2016

单幺正演化循环神经网络

本文提出了一种新的神经网络架构，该架构学习一个特殊的方阵作为权重矩阵，使得隐藏层矩阵的特征值绝对值为 1，避免了权重矩阵导致的梯度问题；通过在复杂域中考虑隐藏状态并极具表达能力的参数化方法，为学习长期依赖任务带来了先进的结果。

Nov, 2015

卷积幺正或正交循环神经网络

该研究使用卷积指数函数，将反对称或反 - 厄米卷积核变换为正交或幺正卷积核，用于解决递归神经网络中的梯度消失问题，并通过提出 FFT 算法来优化计算。

Feb, 2023

非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

May, 2019

使用顺序非标准动力学改善循环神经网络的记忆能力

探讨使用非正常的重复神经网络（RNNs）以解决梯度 “消失 / 爆炸” 的问题并提高 “信噪比”。研究显示，具有非正常的重复连接矩阵的非正常 RNN 可以在序列处理任务中胜过其正交对应物。

May, 2019

使用 Householder 反射进行递归神经网络的高效正交参数化

本文介绍了通过约束转移矩阵为正交矩阵来解决序列学习中的长期依赖性问题的方法，并针对简单 RNN 的情况提出了一种新的参数化方案，将正交约束应用于转移矩阵，以提高训练效率。

Dec, 2016

四元数循环神经网络

研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

Jun, 2018

使用简单方法初始化修正线性单元的循环神经网络

本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。

Apr, 2015

Kronecker 循环单元

我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 KRU 模型可以降低递归权重矩阵中的参数数量三个数量级，而不会牺牲统计性能。

May, 2017