该研究使用卷积指数函数，将反对称或反 - 厄米卷积核变换为正交或幺正卷积核，用于解决递归神经网络中的梯度消失问题，并通过提出 FFT 算法来优化计算。

Feb, 2023

本文提出了一种新的神经网络架构，该架构学习一个特殊的方阵作为权重矩阵，使得隐藏层矩阵的特征值绝对值为 1，避免了权重矩阵导致的梯度问题；通过在复杂域中考虑隐藏状态并极具表达能力的参数化方法，为学习长期依赖任务带来了先进的结果。

Nov, 2015

本文提出了使用全容量矩阵优化可微分流形上的酉矩阵的全容量 URNN，以解决循环神经网络中的梯度消失和爆炸问题，并证明了该参数化在隐藏状态维度大于 7 时具有受限制的容量，实验结果表明新模型在合成和自然数据上均具有优异的性能。

Oct, 2016

本文提出了一种基于 Lie 群理论的指数映射参数化方法，将带有正交和酉约束的优化问题转化为欧几里德空间上的无约束问题，并在 RNN 中得到了应用，改进了正交约束优化问题的稳定性和收敛速度。

Jan, 2019

通过在交替操作序列的时间参数上应用梯度下降法，我们研究了学习 $U (d)$ 中的单位转换的难度。我们提供了数值证据表明，尽管损失景观非凸，但当序列包含 $d^2$ 个或更多参数时，梯度下降法总是收敛于目标齐次。收敛速度表明了一种 “计算相变”。当小于 $d^2$ 个参数时，梯度下降收敛于次优解，而当大于 $d^2$ 个参数时，梯度下降以指数方式收敛于最优解。

Jan, 2020

本文提出了一种基于秩 - k 更新或其秩 - k 近似的高效方法，名为 projUNN-D 和 projUNN-T Unitary Neural Networks，用于实现全 N 维幺正或正交矩阵的参数化，从而提高深度神经网络的训练效率及模型性能。

Mar, 2022

提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

May, 2019

本文提出了一种新型的单位神经元网络（EUNNs）架构，利用其完全可调的单元空间表示能力，作为解决神经网络梯度爆炸 / 消失问题和学习数据长期相关性的一种有前途的方法，并证明其性能较其他现有的神经网络和 LSTM 架构在各种应用场景下具有优越性。

Dec, 2016

本文介绍了通过约束转移矩阵为正交矩阵来解决序列学习中的长期依赖性问题的方法，并针对简单 RNN 的情况提出了一种新的参数化方案，将正交约束应用于转移矩阵，以提高训练效率。

Dec, 2016

本文提出了一种使用斜对称矩阵参数化 Cayley 变换来维持正交循环权重矩阵并克服负特征值限制的更新方案，在多个实验中证明了比其他单元 RNN 的表现更优秀，需要的可训练参数更少。

Jul, 2017