ICLRSep, 2017

基于序列长度的线性循环神经网络并行化

PDF
TL;DR该研究论文描述了使用线性顺序依赖关系的 RNN 可以使用并行扫描算法在序列长度上进行并行化训练，通过开发并行线性递归 CUDA 内核，加速多种最先进的 RNN 架构的训练和推理，扩展序列学习到以前无法触及的极长序列区域并成功训练 GILR-LSTM 进行一百万时间步长的合成序列分类任务。
recurrent neural networkslinear sequential dependenciesparallel scan algorithmgilr-lstmlong sequence learning
发现论文，激发创造
  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 切片循环神经网络

    本文提出了一种切片循环神经网络（SRNNs），将序列分割为多个子序列实现并行化，SRNNs 相对标准 RNNs 在训练时间快 136 倍且在六个大规模情感分析数据集上表现更好。

    Jul, 2018

  • 准循环神经网络

    本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

    Nov, 2016

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 层次门控循环神经网络用于序列建模

    提出了一种具有遗忘门的分层门控递归神经网络 (HGRN) 模型，其中遗忘门受可学习值下界限制，使得上层能够建模长期依赖，而下层能够建模更局部、短期的依赖关系。通过在语言建模、图像分类和长距离竞技场测试中进行实验，证明了该模型的高效性和有效性。

    Nov, 2023

  • 多流分类的并行长短期记忆网络

    本论文介绍了一种名为平行 LSTM 的 RNN 模型，可以并行处理多个同步输入序列以预测共同输出。在自动电视节目分类任务上的实验表明，该方法优于基线 n-gram 模型和最先进的 LSTM 方法。

    Feb, 2017

  • 利用序列桶技术和多 GPU 数据并行化加速循环神经网络的训练

    本研究提出了一种基于最佳批处理按输入序列长度和数据并行化的高效循环神经网络训练算法，以在线手写识别任务为例，通过比较不同数量桶的基准训练性能和提出的解决方案，考察了墙钟时间、纪元数和验证损失值等方面的评估结果。

    Aug, 2017

  • 一种用于序列建模的轻量级循环网络

    本文介绍了一种称为 LRN 的轻量级循环神经网络，它使用输入和遗忘门来处理长时间的依赖性以及梯度消失和爆炸，并且可以作为替代现有循环单元的可落地的解决方案，该方法将计算量从循环中转移至外部，并与自我注意力网络紧密连接。通过六项自然语言处理任务的广泛实验证明，使用 LRN 能够获得最高的运行效率，而且模型性能几乎没有损失。

    May, 2019

  • 序列到序列递归神经网络机器翻译的混合数据 - 模型并行训练

    本文提出了一种混合数据模型并行方法用于 Seq2Seq 循环神经网络机器翻译，将模型并行方法应用于 Seq2Seq 模型的 RNN 编码器 - 解码器部分和数据并行方法应用于模型的注意力 - softmax 部分，使用 4 个 GPU 训练和使用 1 个 GPU 训练相比，在不影响 BLEU 分数的情况下获得了 4.13 到 4.20 倍的加速。

    Sep, 2019