Feb, 2017

多流分类的并行长短期记忆网络

HTML
PDF
TL;DR本论文介绍了一种名为平行LSTM的RNN模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线n-gram模型和最先进的LSTM方法。
发现论文，激发创造
  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于LSTM的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的RNN和深度神经网络进行了比较。结果表明，LSTM模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 循环记忆阵列结构

    本研究引入多内存单元增强标准LSTM架构，研究表明，Array-LSTM方法的随机变量能够提升字符级文本预测的性能，使Enwik8数据集表现达到1.402 BPC，并且能够建立起Enwik9和Enwik10数据集的神经网络基础结果分别为1.12 BPC和1.19 BPC。

    Jul, 2016

  • 基于序列长度的线性循环神经网络并行化

    该研究论文描述了使用线性顺序依赖关系的RNN可以使用并行扫描算法在序列长度上进行并行化训练，通过开发并行线性递归CUDA内核，加速多种最先进的RNN架构的训练和推理，扩展序列学习到以前无法触及的极长序列区域并成功训练GILR-LSTM进行一百万时间步长的合成序列分类任务。

    Sep, 2017

  • 用LSTM全卷积神经网络进行时间序列分类

    本文探讨了通过在完全卷积神经网络中增加长短时记忆循环神经网络分支（LSTM RNN sub-modules）来进行时间序列分类的方法，通过使用注意力机制（Attention mechanism）优化模型以及微调（fine-tuning）等方法可以显著提高模型性能。LSTM-FCN的性能比其他模型表现更出色。

    Sep, 2017

  • 更广更深，更便宜更快：张量LSTM用于序列学习

    本文介绍了一种新的神经网络模型，即Tensorized LSTM，它使用张量来表示隐藏状态，通过跨层卷积来更新这些状态。该模型在不增加额外参数的情况下，有效地扩展了网络的容量，并将深度计算合并为时序计算，从而提高了其性能。实验结果表明，该模型在多项挑战性的序列学习任务中表现出很大的潜力。

    Nov, 2017

  • 循环神经网络（RNN）和长短时记忆网络（LSTM）的基础知识

    该论文旨在通过从信号处理中提取概念，正式导出经典的RNN公式，揭示LSTM系统的组成部分，并将RNN转换为Vanilla LSTM网络，以便于理解和实现。在此基础上，作者提出了基于Vanilla LSTM的最新扩展，适合机器学习从业者参考和研究。

    Aug, 2018

  • 三种精简版 LSTM (长短时记忆网络) 层的性能

    本研究使用计算分析验证了标准LSTM和三种SLIM LSTM层性能的比较，发现其中某些SLIM LSTM层可以在卷积加循环神经网络架构中与标准LSTM层的表现相当。

    Jan, 2019

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM)及其变体，在训练过程中解决长序列中的梯度消失/爆炸问题，并详细介绍了LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 解锁LSTM在长期时间序列预测中的潜力

    本研究解决了传统LSTM在时间序列预测中存在的短期记忆问题，并提出了一种新颖的算法P-sLSTM，结合了补丁和通道独立性，从而显著提升其性能。研究表明，P-sLSTM在时间序列预测任务中实现了最先进的成果，具有重要的应用潜力。

    Aug, 2024