关于深度循环网络的长期记忆

ICLROct, 2017

On the Long-Term Memory of Deep Recurrent Networks

Yoav Levine, Or Sharir, Alon Ziv, Amnon Shashua

TL;DR本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。

Abstract

A key attribute that drives the unprecedented success of modern Recurrent Neural Networks (RNNs) on learning tasks which involve sequential data, is their ability to model intricate long-term temporal dependencies. However, a well established measure of RNNs long-term memory capacity is lacking, and thus formal understanding of the effect of depth on their a

recurrent neural networks long-term dependencies start-end separation rank depth efficiency quantum tensor networks

发现论文，激发创造

循环正交网络和长记忆任务

本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

Feb, 2016

构建深度循环神经网络的方法

本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法，通过分析其结构，提出了两种新的深层递归神经网络结构，并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。

Dec, 2013

循环神经网络的结构复杂度度量

该论文系统分析了循环神经网络连接体系结构，并提出了三种体系结构复杂度量度，包括循环深度、前馈深度和循环跳跃系数，并通过实验结果发现增加循环深度和前馈深度可以改善 RNN 的表现，在长期依赖问题上提高循环跳跃系数可以提升性能。

Feb, 2016

长期循环卷积网络用于视觉识别和描述

研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

Nov, 2014

适用于循环神经网络的广义张量模型

本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

Jan, 2019

深度循环神经网络语音识别

本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

Mar, 2013

循环高速公路网络

本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

Jul, 2016

循环神经网络的表达能力

本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。

Nov, 2017

循环神经网络的最近进展

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

可视化和理解循环网络

使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

Jun, 2015