NIPSFeb, 2016

循环神经网络的结构复杂度度量

PDF
TL;DR该论文系统分析了循环神经网络连接体系结构，并提出了三种体系结构复杂度量度，包括循环深度、前馈深度和循环跳跃系数，并通过实验结果发现增加循环深度和前馈深度可以改善 RNN 的表现，在长期依赖问题上提高循环跳跃系数可以提升性能。
recurrent neural networksgraph-theoretic frameworkarchitecture complexity measuresrecurrent depthfeedforward depth
发现论文，激发创造
  • 关于深度循环网络的长期记忆

    本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。

    Oct, 2017

  • 构建深度循环神经网络的方法

    本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法，通过分析其结构，提出了两种新的深层递归神经网络结构，并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。

    Dec, 2013

  • 扩张循环神经网络

    本研究提出了一种称为 DilatedRNN 的简单且有效的循环神经网络连接结构，它可以同时解决 RNN 在处理长序列时遇到的复杂依赖、梯度消失和爆炸的问题，还能够提高训练效率并匹配最先进技术，并且引入了一种适用于具有长跳跃连接的 RNN 的内存容量度量，证明了 DilatedRNN 相对于其他循环神经网络结构的优点。

    Oct, 2017

  • RNN 架构的正式层次结构

    本研究开发了一种表达式能力的 RNN 体系结构的形式化层次结构，这个层次结构基于空间复杂性和有理复发的形式属性。该研究将几种 RNN 变体放置在该层次结构中，并证明了 LSTM 不是合理的。我们还展示了通过堆叠多个图层或将它们与不同的池函数组合来扩展这些模型的表现力。我们的结果建立在 “饱和” 的 RNN 的理论基础之上。我们假设未饱和的 RNN 的实际可学习能力符合类似的层次结构，并通过对形式语言训练未饱和的网络的实验结果支持此假设。

    Apr, 2020

  • 估计卷积或循环神经网络所需的样本数量是多少？

    本文研究了卷积神经网络和循环神经网络的样本复杂度，发现其样本复杂度随内在维度线性增长，但远小于全连接神经网络。研究方法包括本地经验分析和新的技术引理，希望能激发进一步理解卷积神经网络和循环神经网络的发展。

    May, 2018

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 循环高速公路网络

    本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

    Jul, 2016

  • 适用于循环神经网络的广义张量模型

    本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

    Jan, 2019

  • 递归和深度的惊人相似性

    本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

    Feb, 2021

  • 基于复杂网络理论的深度神经网络：一种观点

    通过复杂网络理论和统计物理结合，此研究工作扩展了现有的复杂网络度量指标，从纯拓扑分析转变为与深度学习可解释性相关的分析方法，提供了探究深度神经网络的物理根源，超越传统的输入 - 输出关系和复杂网络拓扑分析。

    Apr, 2024