CVPRMar, 2018

Independently Recurrent Neural Network (IndRNN): 构建更长更深的循环神经网络

PDF
TL;DR本文介绍了一种称为 Independently Recurrent Neural Network 的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。
recurrent neural networkslong short-term memorygated recurrent unitindependently recurrent neural networkgradient vanishing and exploding problems
发现论文，激发创造
  • 深度独立递归神经网络（IndRNN）

    本文提出了一种以独立循环神经网络（IndRNN）为基础的新类型的 RNN，可避免梯度消失和爆炸等问题，进而学习并构建长期模式和深层网络。通过实验，IndRNN 相对于传统的 RNN，LSTM 和 Transformer 取得了更好的性能。

    Oct, 2019

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 一种基于生物学启发式深度网络的学习长期依赖关系的动作识别方法

    本文提出了一种神经网络 shuttleNet，可以结合 CNN-RNN 框架来进行更有效的序列学习，其特点在于运用了循环反馈连接和注意力机制来模拟神经系统中的信息流动。

    Nov, 2016

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 扩张循环神经网络

    本研究提出了一种称为 DilatedRNN 的简单且有效的循环神经网络连接结构，它可以同时解决 RNN 在处理长序列时遇到的复杂依赖、梯度消失和爆炸的问题，还能够提高训练效率并匹配最先进技术，并且引入了一种适用于具有长跳跃连接的 RNN 的内存容量度量，证明了 DilatedRNN 相对于其他循环神经网络结构的优点。

    Oct, 2017

  • 层次门控循环神经网络用于序列建模

    提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

    Nov, 2023

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 一个混合 IndRNNLSTM 方法用于软件定义网络中的实时异常检测

    使用数据流预测进行的 SDN 异常检测是一项困难的任务，本文提出的 IndRNNLSTM 算法结合嵌入式特征选择模型在 NSL-KDD 数据上取得 MAE=1.22 和 RMSE=9.92 的结果。

    Feb, 2024