MMAug, 2017

利用序列桶技术和多 GPU 数据并行化加速循环神经网络的训练

PDF
TL;DR本研究提出了一种基于最佳批处理按输入序列长度和数据并行化的高效循环神经网络训练算法，以在线手写识别任务为例，通过比较不同数量桶的基准训练性能和提出的解决方案，考察了墙钟时间、纪元数和验证损失值等方面的评估结果。
recurrent neural networktraininginput sequence lengthdata parallelizationhandwriting recognition
发现论文，激发创造
  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • BLoad：增强神经网络训练的高效顺序数据处理

    使用新的训练方案，能够在不同大小的序列上实现高效的分布式数据并行训练，最小化内存消耗，并在实验中取得了整体性能的提升。

    Oct, 2023

  • 序列到序列递归神经网络机器翻译的混合数据 - 模型并行训练

    本文提出了一种混合数据模型并行方法用于 Seq2Seq 循环神经网络机器翻译，将模型并行方法应用于 Seq2Seq 模型的 RNN 编码器 - 解码器部分和数据并行方法应用于模型的注意力 - softmax 部分，使用 4 个 GPU 训练和使用 1 个 GPU 训练相比，在不影响 BLEU 分数的情况下获得了 4.13 到 4.20 倍的加速。

    Sep, 2019

  • 基于序列长度的线性循环神经网络并行化

    该研究论文描述了使用线性顺序依赖关系的 RNN 可以使用并行扫描算法在序列长度上进行并行化训练，通过开发并行线性递归 CUDA 内核，加速多种最先进的 RNN 架构的训练和推理，扩展序列学习到以前无法触及的极长序列区域并成功训练 GILR-LSTM 进行一百万时间步长的合成序列分类任务。

    Sep, 2017

  • 使用多网格求解器并行训练 GRU 神经网络处理长序列

    该论文提出了一种新的并行剪枝方案（称为 “并行化时间”），基于多网格时间缩减（MGRIT）求解器对 GRU 进行训练，可以在序列长度增加时显著提高性能，实验结果显示，与串行方法相比，新的并行化训练方案实现了高达 6.5 倍的加速比。

    Mar, 2022

  • 在 GPU 上优化循环神经网络的性能

    通过在网络中暴露操作之间的并行性，我们实现了对于各种网络规模的 10 倍加速优化，这种优化的实现被整合到了 NVIDIA 的 cuDNN 的第五个版本中。

    Apr, 2016

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 循环神经网络中的序列级别训练

    提出了一种新的序列级训练算法，使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标，并且在三个不同的任务中，我们的方法优于其他几种基准方法。同时，在其他基准方法使用波束搜索时，我们的方法也具有竞争力，而且速度快几倍。

    Nov, 2015

  • 循环神经网络语法的有效批处理

    本文提出了基于批处理的 RNN-Grammar 训练方法，并借助 PyTorch 实现在 GPU 上显著加速训练和推断过程，并在大规模的训练数据集和广泛的句法评估基准测试中验证了批处理 RNN-Grammar 的性能优势。

    May, 2021

  • 大规模语言建模：在四小时内收敛于 40GB 文本

    本研究开发出用于自然语言处理的基于 RNN 的 4096 维乘法 LSTM 模型，结合混合精度算法和大规模并行计算，使模型短短 4 小时内能在亚马逊评论数据集上通过三次训练实现无监督文本重构；同时，我们提供了一种学习率策略，使得该模型可以在 32k 批量大小的情况下收敛，这一结果对于商用应用和深度学习研究者来说具有重要意义。

    Aug, 2018