Mar, 2018

通过傅里叶循环单元学习长期依赖关系

PDF
TL;DR本文提出了一种简单的循环神经网络架构，即傅里叶循环单元 (FRU)，它稳定了训练中出现的梯度，同时为我们提供了更强的表现能力。具体而言，FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$，使得由于残差学习结构和三角函数的全局支持，梯度可以轻松地到达任何层。我们还展示了 FRU 具有与时间维度无关的梯度下限和上限，以及得到 FRU 强表现力的稀疏傅里叶基的优势。我们的实验研究还表明，与其他循环架构相比，所提出的架构在许多任务上具有更少的参数且表现更好。
recurrent neural networksvanishing or exploding gradient problemfourier recurrent unitgradient lower and upper boundssparse fourier basis
发现论文，激发创造
  • 面向建模长期依赖的非饱和循环单元

    本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。

    Jan, 2019

  • 多功能循环单元 MuFuRU

    本文提出了一种名为 MuFuRUs 的新型多功能循环单元，它允许任意可微分函数作为组合操作，可以在不同的序列建模任务中发挥作用，包括命题逻辑公式评估、语言建模和情感分析。

    Jun, 2016

  • 通过学习的傅里叶特征对强化学习进行功能正则化

    本文提出了一种基于傅里叶基的深度强化学习简单架构，通过理论和实验探究，发现学习傅里叶特征可以调整网络欠拟合和过拟合的程度，从而提高强化学习的性能和稳定性。

    Dec, 2021

  • 使用水平门循环单元学习长距空间依赖

    使用水平门控循环单元层，可以取得与甚至优于当前最先进的深度学习结构相当的效果，在长空间范围内检测相互依赖的视觉特征上表现出色。

    May, 2018

  • 使用简单方法初始化修正线性单元的循环神经网络

    本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。

    Apr, 2015

  • Kronecker 循环单元

    我们提出了称为 Kronecker 循环单元（KRU）的灵活的递归神经网络模型，它通过 Kronecker 分解循环矩阵实现 RNNs 的参数效率，并通过对因子施加软幺正约束克服循环矩阵的病态条件，从而克服递归神经网络过度参数化的问题。 KRU 模型可以降低递归权重矩阵中的参数数量三个数量级，而不会牺牲统计性能。

    May, 2017

  • 使用连续循环单元对不规则时间序列进行建模

    本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。

    Nov, 2021

  • CRU：一种新的神经架构，用于提高时间序列数据预测性能

    本研究提出了一种名为相关递归单元（CRU）的新型神经架构，可以在神经元内执行时间序列分解并学习每个分解组件之间的自相关和相关性，实验结果表明，相比其他神经架构，所提出的 CRU 是解决时间序列预测问题的一种优秀方法，可将长期和短期的预测精度提高 10％以上。

    Nov, 2022

  • 全容量幺模循环神经网络

    本文提出了使用全容量矩阵优化可微分流形上的酉矩阵的全容量 URNN，以解决循环神经网络中的梯度消失和爆炸问题，并证明了该参数化在隐藏状态维度大于 7 时具有受限制的容量，实验结果表明新模型在合成和自然数据上均具有优异的性能。

    Oct, 2016

  • 统计复发单元

    通过 Bayesian optimization 方案优化模型超参数，我们展示了统计循环单元 (SRU) 相比于门控循环神经网络 (LSTM) 和门控 GRU 的高效性。

    Mar, 2017