projUNN: 使用酉矩阵高效训练深度神经网络的方法

Mar, 2022

projUNN: 使用酉矩阵高效训练深度神经网络的方法

projUNN: efficient method for training deep networks with unitary matrices

Bobak Kiani, Randall Balestriero, Yann LeCun, Seth Lloyd

TL;DR本文提出了一种基于秩 - k 更新或其秩 - k 近似的高效方法，名为 projUNN-D 和 projUNN-T Unitary Neural Networks，用于实现全 N 维幺正或正交矩阵的参数化，从而提高深度神经网络的训练效率及模型性能。

Abstract

In learning with recurrent or very deep feed-forward networks, employing unitary matrices in each layer can be very effective at maintaining long-range stability. However, restricting network parameters to be unitary typically comes at the cost of expensive parameterizations or increas

unitary matrices rank-k updates neural networks recurrent neural networks convolutional neural networks

发现论文，激发创造

可调效单元神经网络（EUNN）及其在循环神经网络中的应用

本文提出了一种新型的单位神经元网络（EUNNs）架构，利用其完全可调的单元空间表示能力，作为解决神经网络梯度爆炸 / 消失问题和学习数据长期相关性的一种有前途的方法，并证明其性能较其他现有的神经网络和 LSTM 架构在各种应用场景下具有优越性。

Dec, 2016

全容量幺模循环神经网络

本文提出了使用全容量矩阵优化可微分流形上的酉矩阵的全容量 URNN，以解决循环神经网络中的梯度消失和爆炸问题，并证明了该参数化在隐藏状态维度大于 7 时具有受限制的容量，实验结果表明新模型在合成和自然数据上均具有优异的性能。

Oct, 2016

卷积幺正或正交循环神经网络

该研究使用卷积指数函数，将反对称或反 - 厄米卷积核变换为正交或幺正卷积核，用于解决递归神经网络中的梯度消失问题，并通过提出 FFT 算法来优化计算。

Feb, 2023

单幺正演化循环神经网络

本文提出了一种新的神经网络架构，该架构学习一个特殊的方阵作为权重矩阵，使得隐藏层矩阵的特征值绝对值为 1，避免了权重矩阵导致的梯度问题；通过在复杂域中考虑隐藏状态并极具表达能力的参数化方法，为学习长期依赖任务带来了先进的结果。

Nov, 2015

Kronecker 循环单元

我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 KRU 模型可以降低递归权重矩阵中的参数数量三个数量级，而不会牺牲统计性能。

May, 2017

利用 u (n) 辅助学习幺正算子

本论文研究了使用可定义为 Lie 代数与 Lie 群相关联的单位矩阵组 U (n) 来描述参数化单元操作符，并通过 Lie 代数的基础定义了一个由 n^2 个实系数组成的单位矩阵空间，以解决循环神经网络训练中的梯度消失或爆炸问题。研究表明，这种参数化方法在学习任意单位操作符和解决长期记忆问题方面具有高效性。

Jul, 2016

具有缩放 Cayley 变换的正交循环神经网络

本文提出了一种使用斜对称矩阵参数化 Cayley 变换来维持正交循环权重矩阵并克服负特征值限制的更新方案，在多个实验中证明了比其他单元 RNN 的表现更优秀，需要的可训练参数更少。

Jul, 2017

使用 Householder 反射进行递归神经网络的高效正交参数化

本文介绍了通过约束转移矩阵为正交矩阵来解决序列学习中的长期依赖性问题的方法，并针对简单 RNN 的情况提出了一种新的参数化方案，将正交约束应用于转移矩阵，以提高训练效率。

Dec, 2016

非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

May, 2019

分组与混洗：高效结构正交参数化

在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我们还将我们的结构化构造用于正交卷积，并进行了 1-Lipschitz 神经网络的实验。

Jun, 2024