ICLRMar, 2022

使用多网格求解器并行训练 GRU 神经网络处理长序列

PDF
TL;DR该论文提出了一种新的并行剪枝方案（称为 “并行化时间”），基于多网格时间缩减（MGRIT）求解器对 GRU 进行训练，可以在序列长度增加时显著提高性能，实验结果显示，与串行方法相比，新的并行化训练方案实现了高达 6.5 倍的加速比。
parallelizinggated recurrent unitmultigrid reductiontimeperformance improvement
发现论文，激发创造
  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 序列到序列递归神经网络机器翻译的混合数据 - 模型并行训练

    本文提出了一种混合数据模型并行方法用于 Seq2Seq 循环神经网络机器翻译，将模型并行方法应用于 Seq2Seq 模型的 RNN 编码器 - 解码器部分和数据并行方法应用于模型的注意力 - softmax 部分，使用 4 个 GPU 训练和使用 1 个 GPU 训练相比，在不影响 BLEU 分数的情况下获得了 4.13 到 4.20 倍的加速。

    Sep, 2019

  • 基于序列长度的线性循环神经网络并行化

    该研究论文描述了使用线性顺序依赖关系的 RNN 可以使用并行扫描算法在序列长度上进行并行化训练，通过开发并行线性递归 CUDA 内核，加速多种最先进的 RNN 架构的训练和推理，扩展序列学习到以前无法触及的极长序列区域并成功训练 GILR-LSTM 进行一百万时间步长的合成序列分类任务。

    Sep, 2017

  • 利用序列桶技术和多 GPU 数据并行化加速循环神经网络的训练

    本研究提出了一种基于最佳批处理按输入序列长度和数据并行化的高效循环神经网络训练算法，以在线手写识别任务为例，通过比较不同数量桶的基准训练性能和提出的解决方案，考察了墙钟时间、纪元数和验证损失值等方面的评估结果。

    Aug, 2017

  • 通过非线性多重网格实现深度残差神经网络的 GPU 并行层间训练

    利用多重网格完全逼近存储算法来解决深度残差神经网络的训练，并在 GPU 上实现神经网络分层的并行化训练和并发计算核执行，这项工作显示出与传统的分层模型并行技术相比具有 10.2 倍的速度提升。

    Jul, 2020

  • 走向从萃取到抽象化：多时间尺度门控循环单元用于摘要生成

    本文介绍了一种基于 MTGRU 和时间层次结构的 seq2seq 模型，旨在解决科学文章摘要的抽象化问题，实验结果表明，与传统 RNN 编码器 - 解码器相比，该模型具有更快的训练速度和更好的性能表现，同时时间层次结构有助于改善 seq2seq 模型对于复合性的捕捉能力，而不需要高度复杂的建筑层次结构。

    Jul, 2016

  • 一种用于高效训练视频模型的多重网格方法

    通过使用多重网格方法和变量小批量形状，以在保持准确性的同时加速视频模型的训练速度，我们提出了一种通用和强健的网格时间表，该时间表可用于不同的模型，数据集和训练设置。

    Dec, 2019

  • SGRU：用于交通流预测的高性能结构化门控循环单元

    提出了一种名为 SGRU 的结构化门控循环单元，通过结构化 GRU 层和非线性单元以及多层时间嵌入来增强模型的拟合性能，在加利福尼亚四个公开交通数据集上的实验结果表明，该模型的性能优于基线模型，平均改进了 11.7％，18.6％，18.5％和 12.0％。

    Apr, 2024

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • 层并行深度神经网络训练的多层初始化

    本论文研究了多级初始化策略，以及基于时间有限制微分方程与网络离散化的深九层前馈神经网络训练方法，结果表明这种方法有效降低了网络训练的时间和初始参数随机性敏感度，并提供了一种正则化效应。

    Dec, 2019