Sep, 2023

DeepPCR: 神经网络中的并行化顺序操作

PDF
TL;DR提出了一种名为 DeepPCR 的算法，它通过并行化典型的顺序操作，将计算复杂度从 O (L) 降低到 O (log2L)，从而在加速神经网络的训练和推理过程中提供更高的速度。
parallelization techniquesdeep neural networksdeeppcrsequential operationscomputational cost
发现论文，激发创造
  • 深度神经网络的高效并行计算中的循环数据并行

    通过 Cyclic Data Parallelism 和 Model Parallelism 技术，在训练大型深度学习模型的过程中，减少了内存的需求以及 GPU 的使用，提升了模型的执行效率。

    Mar, 2024

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 并行算法与神经执行对齐

    神经算法推理器是并行处理器，教给它们顺序算法与其本质相悖，导致他们的大部分计算无效。与之相对，平行算法可以充分利用它们的计算能力，因此执行所需的层数较少。这大大减少了训练时间，比较了在 CLRS 框架上搜索、排序和查找强连通分量的平行实现与顺序实现，观察到这一点。此外，平行版本在大多数情况下实现了明显更好的预测性能。

    Jul, 2023

  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 探索卷积神经网络并行化中的隐藏维度

    本文提出了一种层级并行的方法来训练深度卷积神经网络，在这种方法中，每层神经网络都可以应用不同的并行策略以优化训练，通过解决图搜索问题来协同优化每个层的并行化方式。 实验结果表明，与现有的并行化方法相比，采用该方法可以提高训练吞吐量，降低通信成本，实现更好的多 GPU 可扩展性，并保持原始网络的准确性。

    Feb, 2018

  • 双向传播的深度预测编码用于分类和重建

    本文提出了一种新的学习算法，Deep Bi-directional Predictive Coding (DBPC)，其允许开发网络同时使用相同的权重执行分类和重建任务。

    May, 2023

  • 扩散模型的并行采样

    本文介绍了一种新的方法 ParaDiGMS，通过并行执行多个去噪步骤来加速预训练扩散模型的采样速度。该方法通过使用 Picard 迭代猜测未来去噪步骤的解，并迭代地进行加工，从而使扩散采样过程可以并行化，使计算机可用性更高。使用 ParaDiGMS，各种机器人和图像生成模型的采样速度提高 2-4 倍，无论对任务奖励、FID 分数、还是 CLIP 分数都没有任何可感知的退化。

    May, 2023

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 通过本地对齐分布式表示进行循环神经网络的持续学习

    本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络 (P-TNCN)，用以解决通过时间反向传播所存在的困难和问题，比如序列建模基准测试中表现优异，具有零 - shot 适应能力和在线连续序列建模的能力。

    Oct, 2018

  • PETRA: 并行端到端训练与可逆架构

    我们介绍了一种用于并行计算深度模型训练的 PETRA 替代方法，它通过反向传播和单一参数版本的保持来解决权重存储的问题，并在 CIFAR-10、ImageNet32 和 ImageNet 上展示了其与后向传播相比具有竞争性的准确性。

    Jun, 2024