Feb, 2017

分析和利用 NARX 递归神经网络实现长期依赖

PDF
TL;DR介绍一种名为 MIST RNNs 的 NARX RNN 架构，能够直接连接远处的过去，并在需要非常长期的依赖性任务中比 LSTM 和 Clockwork RNNs 表现更好，且具有更好的消失梯度特性。
recurrent neural networkslong-term dependenciesmist rnnslstmvanishing-gradient properties
发现论文，激发创造
  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 面向建模长期依赖的非饱和循环单元

    本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。

    Jan, 2019