Jul, 2020

深度神经网络训练中数据阻塞的分析与减轻

PDF
TL;DR本文针对输入数据管道对训练 DNN 模型的影响展开研究，使用 DS-Analyzer 工具精确测量数据阻塞时间，提出 CoorDL 数据加载库来缓解数据阻塞问题，并在多个 DNN 模型、数据集、硬件配置上进行验证，结果显示相对于 DALI 数据加载库，使用 CoorDL 数据加载库可以显著降低 DNN 训练时间。
发现论文，激发创造
  • 深度神经网络的高效端到端训练中理解数据预处理

    本篇论文主要关注于了解公共云中深度神经网络（DNN）训练的数据预处理流程。我们运行实验来测试使用原始数据或记录文件两种主要数据预处理方法所带来的性能影响。初步结果表明，即使使用 NVIDIA DALI 这种高度优化的数据预处理库，数据预处理仍然是明显的瓶颈。其次，我们确定了潜在的原因，采用了多种优化方法，并介绍了它们的优缺点。希望本研究可以为 “数据存储和加载管道” 与 “训练框架” 的新协同设计以及它们之间的灵活资源配置提供参考，使资源得到充分利用并提高性能。

    Apr, 2023

  • 数据回声加速神经网络训练

    本文介绍了一种名为‘数据回声’的技术，通过重复使用较早阶段的中间输出，以减少早期训练管道阶段的计算总量，以加速神经网络模型的训练。此方法可以达到与传统模型预测表现预测性能相当，但使用更少的上游计算量。

    Jul, 2019

  • 超越推断：计算机视觉 DNN 服务器开销的性能分析

    对计算机视觉的深度学习系统进行综合评估，发现数据处理和系统吞吐量是深度学习应用性能的重要瓶颈，并提出了更全面的深度学习系统设计方法。

    Mar, 2024

  • 深度学习模型并行加速中的陈旧度优化

    本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并具备更强的鲁棒性。

    Sep, 2019

  • DeepSpeed 数据效率：通过高效的数据采样和路由改进深度学习模型质量和训练效率

    通过深度学习模型训练数据的更加高效使用，特别是针对昂贵的预训练模型，可以实现对数据采样和数据路由的有效提高，以提高模型质量和减少训练成本。

    Dec, 2022

  • 超级计算机规模的图像分类

    本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

    Nov, 2018

  • 加速神经网络训练：简要回顾

    研究通过应用 Gradient Accumulation、Automatic Mixed Precision 和 Pin Memory 等方法来加速深度神经网络的训练过程，并证明这些方法能够显著提高训练效率，为深度学习过程的改进提供重要见解。

    Dec, 2023

  • DAPPLE：一个用于训练大模型的流水线数据并行方法

    提出了一种称为 DAPPLE 的同步训练框架，它将数据并行和管道并行相结合，采用新颖的并行化策略规划器解决了分区和放置问题，并探索了数据和管道并行的最佳混合策略。与 GPipe 相比，DAPPLE 运行时间提高了 1.6 倍的训练吞吐量，并将内存消耗降低了 12%。

    Jul, 2020

  • 在边缘服务器上调度深度神经网络

    本文研究了如何加速深度神经网络在边缘服务器上处理多个客户端的任务，通过批处理的方式和优化调度算法，使用不同的目标函数把多个请求合并，最终提高了处理效率和性能。

    Apr, 2023

  • tf.data：一个机器学习数据处理框架

    tf.data 是一个为构建和执行高效机器学习输入流水线而设计的框架，它提供了各种操作符用于定义计算，已经可以应用于不同的机器学习领域。我们展示了输入流水线的性能对于机器学习模型的训练时间至关重要，tf.data 的特性可以避免手动性能优化，实现高效的输入流水线。我们的分析为将计算与存储结合起来，推送数据处理到存储层提供了未来研究方向。

    Jan, 2021