深度独立递归神经网络(IndRNN)
本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络,其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点,实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。
Mar, 2018
本研究提出了一种称为 DilatedRNN 的简单且有效的循环神经网络连接结构,它可以同时解决 RNN 在处理长序列时遇到的复杂依赖、梯度消失和爆炸的问题,还能够提高训练效率并匹配最先进技术,并且引入了一种适用于具有长跳跃连接的 RNN 的内存容量度量,证明了 DilatedRNN 相对于其他循环神经网络结构的优点。
Oct, 2017
本文提出了一种基于哈密顿系统的离散化的循环神经网络架构,解决长时依赖序列输入处理的梯度消失和爆炸问题,实验表明该方法在各种学习任务中提供了最先进的性能。
Mar, 2021
本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法,通过分析其结构,提出了两种新的深层递归神经网络结构,并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。
Dec, 2013
本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络,通过合适的正则化和端到端的训练方法,该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7%。
Mar, 2013
本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法,从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。
Jul, 2016
本文介绍了多维循环神经网络 (MDRNNs) 的概念,扩展了循环神经网络 (RNNs) 在视觉、视频处理、医疗影像等领域的应用,同时避免了其它多维模型所面临的缩放问题。笔者提供了两个图像分割任务的实验结果。
May, 2007
使用多维循环神经网络 (MDRNN) 与时序分类 (CTC) 的方法来识别图像上的手写文字,并通过引入一维 LSTM 单元的有用和必要属性来提高其稳定性,在 IFN/ENIT 和 Rimes 数据库上比较并展示其在手写字体识别上的提高效果。
Dec, 2014
本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式,证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势,并通过量子张量网络的工具获取了更多的图形洞见。
Oct, 2017