Jul, 2020

通过非线性多重网格实现深度残差神经网络的 GPU 并行层间训练

PDF
TL;DR利用多重网格完全逼近存储算法来解决深度残差神经网络的训练，并在 GPU 上实现神经网络分层的并行化训练和并发计算核执行，这项工作显示出与传统的分层模型并行技术相比具有 10.2 倍的速度提升。
发现论文，激发创造
  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 层并行深度神经网络训练的多层初始化

    本论文研究了多级初始化策略，以及基于时间有限制微分方程与网络离散化的深九层前馈神经网络训练方法，结果表明这种方法有效降低了网络训练的时间和初始参数随机性敏感度，并提供了一种正则化效应。

    Dec, 2019

  • 探索卷积神经网络并行化中的隐藏维度

    本文提出了一种层级并行的方法来训练深度卷积神经网络，在这种方法中，每层神经网络都可以应用不同的并行策略以优化训练，通过解决图搜索问题来协同优化每个层的并行化方式。 实验结果表明，与现有的并行化方法相比，采用该方法可以提高训练吞吐量，降低通信成本，实现更好的多 GPU 可扩展性，并保持原始网络的准确性。

    Feb, 2018

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 卷积神经网络的多 GPU 训练

    评估在多个 GPU 上并行计算卷积神经网络的不同方法。

    Dec, 2013

  • 使用多网格求解器并行训练 GRU 神经网络处理长序列

    该论文提出了一种新的并行剪枝方案（称为 “并行化时间”），基于多网格时间缩减（MGRIT）求解器对 GRU 进行训练，可以在序列长度增加时显著提高性能，实验结果显示，与串行方法相比，新的并行化训练方案实现了高达 6.5 倍的加速比。

    Mar, 2022

  • 在 GPU 上优化循环神经网络的性能

    通过在网络中暴露操作之间的并行性，我们实现了对于各种网络规模的 10 倍加速优化，这种优化的实现被整合到了 NVIDIA 的 cuDNN 的第五个版本中。

    Apr, 2016

  • 用一种奇怪的技巧并行卷积神经网络

    介绍了一种新的方法，可在多个 GPU 上并行训练卷积神经网络，该方法在应用于现代卷积神经网络时比所有其他方法的扩展性都更好。

    Apr, 2014

  • 改进基于神经网络 GPU 的算法学习架构

    介绍一种提高训练效率和泛化能力的神经 GPU 算法，该算法利用新的技术和对活动存储结构的对角门技术来学习十进制乘法。

    Feb, 2017