Dec, 2016

可调效单元神经网络（EUNN）及其在循环神经网络中的应用

PDF
TL;DR本文提出了一种新型的单位神经元网络（EUNNs）架构，利用其完全可调的单元空间表示能力，作为解决神经网络梯度爆炸 / 消失问题和学习数据长期相关性的一种有前途的方法，并证明其性能较其他现有的神经网络和 LSTM 架构在各种应用场景下具有优越性。
发现论文，激发创造
  • 全容量幺模循环神经网络

    本文提出了使用全容量矩阵优化可微分流形上的酉矩阵的全容量 URNN，以解决循环神经网络中的梯度消失和爆炸问题，并证明了该参数化在隐藏状态维度大于 7 时具有受限制的容量，实验结果表明新模型在合成和自然数据上均具有优异的性能。

    Oct, 2016

  • projUNN: 使用酉矩阵高效训练深度神经网络的方法

    本文提出了一种基于秩 - k 更新或其秩 - k 近似的高效方法，名为 projUNN-D 和 projUNN-T Unitary Neural Networks，用于实现全 N 维幺正或正交矩阵的参数化，从而提高深度神经网络的训练效率及模型性能。

    Mar, 2022

  • 单幺正演化循环神经网络

    本文提出了一种新的神经网络架构，该架构学习一个特殊的方阵作为权重矩阵，使得隐藏层矩阵的特征值绝对值为 1，避免了权重矩阵导致的梯度问题；通过在复杂域中考虑隐藏状态并极具表达能力的参数化方法，为学习长期依赖任务带来了先进的结果。

    Nov, 2015

  • 评估单一 RNN 作为端到端组合语法模型

    通过使用 LSTM 和矩阵乘法编码单元矩阵的 unitary-evolution 循环神经网络 (URN)，成功地处理了两种类型的句法模式，这对于深度学习在自然语言处理中提高可解释性具有重要意义。

    Aug, 2022

  • 非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

    提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

    May, 2019

  • E-RNN：FPGAs 中高效循环神经网络的设计优化

    本文提出了一种基于块循环矩阵框架的高效 RNN（E-RNN）框架，用于 FPGA 实现自动语音识别（ASR），旨在提高性能 / 能量效率，保证精度。采用了交替方向乘法器（ADMM）技术和两个设计探索来提高块循环训练的准确性和引导块大小选择，并将 E-RNN 分解为两个阶段：确定 RNN 模型以降低计算和存储，并进行硬件实现。在实际的 FPGA 部署中，实验结果表明，相对于 ESE 的最大能量效率提高了 37.4 倍，相对于 C-LSTM 提高了 2 倍以上，但保持了相同的准确性水平。

    Dec, 2018

  • 卷积幺正或正交循环神经网络

    该研究使用卷积指数函数，将反对称或反 - 厄米卷积核变换为正交或幺正卷积核，用于解决递归神经网络中的梯度消失问题，并通过提出 FFT 算法来优化计算。

    Feb, 2023

  • 适用于循环神经网络的广义张量模型

    本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

    Jan, 2019

  • 用无向神经网络模拟结构

    该论文提出了一种灵活的框架，将因子图和神经网络的代表性强项结合起来，形成了一种能够在任何顺序下执行计算的不定向神经网络（UNNs），并证明了 UNNs 体系结构的有效性，包括树约束依赖关系分析、卷积图像分类和序列完成等任务。

    Feb, 2022

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021