NIPSNov, 2017

更广更深，更便宜更快：张量 LSTM 用于序列学习

PDF
TL;DR本文介绍了一种新的神经网络模型，即 Tensorized LSTM，它使用张量来表示隐藏状态，通过跨层卷积来更新这些状态。该模型在不增加额外参数的情况下，有效地扩展了网络的容量，并将深度计算合并为时序计算，从而提高了其性能。实验结果表明，该模型在多项挑战性的序列学习任务中表现出很大的潜力。
long short-term memorylstmtensorized lstmrecurrent neural networkssequence learning
发现论文，激发创造
  • 三种精简版 LSTM (长短时记忆网络) 层的性能

    本研究使用计算分析验证了标准 LSTM 和三种 SLIM LSTM 层性能的比较，发现其中某些 SLIM LSTM 层可以在卷积加循环神经网络架构中与标准 LSTM 层的表现相当。

    Jan, 2019

  • 深度循环神经网络的 LiteLSTM 架构

    该研究论文介绍了一种基于权重共享概念的新型 LiteLSTM 体系结构，通过减少 LSTM 的计算组件来降低整体架构成本和维护架构性能，从而提高学习大数据的效率，尤其适用于物联网设备和医学数据的安全性，同时有助于减少 CO2 排放。该模型在计算机视觉和网络安全领域的两个不同数据集上进行了实证评估和测试。

    Jan, 2022

  • xLSTM：扩展的长短期记忆

    我们修改并扩展 LSTM 的门控机制和记忆结构，得到了 xLSTM 模型，该模型在性能和规模上与最先进的 Transformer 模型和状态空间模型相比表现出色。

    May, 2024

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 学习执行

    在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

    Oct, 2014

  • 基于长短期记忆网络的时间序列预测深度学习

    本文介绍 LSTM 模型的结构和前向传播机制，提出了 Random Connectivity LSTM（RCLSTM）模型，并通过在电信网络交通预测和用户移动性中的应用证明了 RCLSTM 模型可实现相同的预测准确性，同时具有计算复杂度更低的优点

    Oct, 2018

  • 生长与精简的迷你，快速和准确的 LSTM

    本文提出一种 H-LSTM 模型，利用增长和修剪（GP）的方式通过梯度增长和基于大小的修剪来迭代调整隐藏层，从而使得模型在图像字幕和语音识别等应用中的表现更快、更精确、更紧凑。

    May, 2018