ICLRDec, 2013

构建深度循环神经网络的方法

PDF
TL;DR本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法，通过分析其结构，提出了两种新的深层递归神经网络结构，并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。
发现论文，激发创造
  • 循环高速公路网络

    本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

    Jul, 2016

  • 关于深度循环网络的长期记忆

    本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。

    Oct, 2017

  • 循环神经网络的结构复杂度度量

    该论文系统分析了循环神经网络连接体系结构，并提出了三种体系结构复杂度量度，包括循环深度、前馈深度和循环跳跃系数，并通过实验结果发现增加循环深度和前馈深度可以改善 RNN 的表现，在长期依赖问题上提高循环跳跃系数可以提升性能。

    Feb, 2016

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 深度独立递归神经网络（IndRNN）

    本文提出了一种以独立循环神经网络（IndRNN）为基础的新类型的 RNN，可避免梯度消失和爆炸等问题，进而学习并构建长期模式和深层网络。通过实验，IndRNN 相对于传统的 RNN，LSTM 和 Transformer 取得了更好的性能。

    Oct, 2019

  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 神经机器翻译的深度架构

    本文介绍和评估了引入深度的机器翻译模型的若干现有方法和新型架构，包括深转移 RNN 和不同深度解码时注意力的使用方式。实验结果表明，BiDeep RNN 架构的组合深度为 8 时在速度和翻译质量方面均有显著提高，相比强浅层基线的平均提高 1.5 BLEU。

    Jul, 2017

  • 高阶循环神经网络

    本研究提出了一种新型神经网络结构，更好地建模序列数据的长期依赖性，称之为 higher order RNNs，实验结果表明，比常规 RNNs 和 LSTMs 性能都要好，适用于各种序列模型任务。

    Apr, 2016

  • Independently Recurrent Neural Network (IndRNN): 构建更长更深的循环神经网络

    本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。

    Mar, 2018