ICMLJun, 2020

RNN 和 LSTM 是否具有长期记忆力？

PDF
TL;DR该论文讨论了 RNN 和 LSTM 是否具有长期记忆能力，并从统计学的角度证明它们不具备长期记忆能力，并引入了一种新的定义，要求模型权重以多项式速率衰减，最终通过将 RNN 和 LSTM 转换为长期记忆网络来证实我们的理论，该新模型在各种数据集的建模中表现出优异的性能。
发现论文，激发创造
  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 循环神经网络（RNN）和长短时记忆网络（LSTM）的基础知识

    该论文旨在通过从信号处理中提取概念，正式导出经典的 RNN 公式，揭示 LSTM 系统的组成部分，并将 RNN 转换为 Vanilla LSTM 网络，以便于理解和实现。在此基础上，作者提出了基于 Vanilla LSTM 的最新扩展，适合机器学习从业者参考和研究。

    Aug, 2018

  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 基于长短期记忆网络的时间序列预测深度学习

    本文介绍 LSTM 模型的结构和前向传播机制，提出了 Random Connectivity LSTM（RCLSTM）模型，并通过在电信网络交通预测和用户移动性中的应用证明了 RCLSTM 模型可实现相同的预测准确性，同时具有计算复杂度更低的优点

    Oct, 2018

  • 评估 LSTM 模型在形式语言中的泛化能力

    本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

    Nov, 2018

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020

  • 学习执行

    在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

    Oct, 2014