ACLApr, 2019

可并行的堆栈长短期记忆

PDF
TL;DR本文研究了如何利用 Stack Long Short-Term Memory (StackLSTM) 的状态访问模式来优化 GPU 训练，将不同的离散操作同质化。实验结果表明，该方法在批处理大小增加时具有几乎线性的可扩展性，而我们的 PyTorch 实现的训练速度也比 Dynet C ++ 实现快得多。
stack long short-term memorystacklstmgpu trainingparsingpytorch
发现论文，激发创造
  • 多流分类的并行长短期记忆网络

    本论文介绍了一种名为平行 LSTM 的 RNN 模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线 n-gram 模型和最先进的 LSTM 方法。

    Feb, 2017

  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 树结构上的长短期记忆

    本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。

    Mar, 2015

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • xLSTM：扩展的长短期记忆

    我们修改并扩展 LSTM 的门控机制和记忆结构，得到了 xLSTM 模型，该模型在性能和规模上与最先进的 Transformer 模型和状态空间模型相比表现出色。

    May, 2024

  • 自顶向下的树形长短期记忆网络

    本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型，它基于 LSTM 并专门用于预测树结构，同时通过明确表示左右句法相关性，提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用，都达到了当前最先进技术水平的效果。

    Oct, 2015

  • 三种精简版 LSTM (长短时记忆网络) 层的性能

    本研究使用计算分析验证了标准 LSTM 和三种 SLIM LSTM 层性能的比较，发现其中某些 SLIM LSTM 层可以在卷积加循环神经网络架构中与标准 LSTM 层的表现相当。

    Jan, 2019

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 更广更深，更便宜更快：张量 LSTM 用于序列学习

    本文介绍了一种新的神经网络模型，即 Tensorized LSTM，它使用张量来表示隐藏状态，通过跨层卷积来更新这些状态。该模型在不增加额外参数的情况下，有效地扩展了网络的容量，并将深度计算合并为时序计算，从而提高了其性能。实验结果表明，该模型在多项挑战性的序列学习任务中表现出很大的潜力。

    Nov, 2017

  • 在计算时间约束下，基于 FPGA 的近似 LSTM

    本文介绍了一种近似计算方案，结合迭代低秩压缩和剪枝以及一种新型 FPGA 基于的 LSTM 结构，以部署计算时间受限的应用程序为挑战，将其优化和配置成高性能的 LSTM 执行体系框架。在真实生活中的图像字幕应用的定量评估表明，该方法需要的时间比基准方法少达 6.5 倍，同时在相同的计算时间限制下，实现了平均 25 倍的应用级别精度。

    Jan, 2018