Jun, 2022

基于 CPU 的深度学习模型：高效训练的方法论

PDF
TL;DR本文提出了一种在 Intel CPU 上优化深度学习模型训练的方法和工具集 ProfileDNN 以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用 ProfileDNN 和 Intel PyTorch 扩展来优化模型训练。
deep learningcpu serverstraining optimizationprofilednnintel extension for pytorch
发现论文，激发创造
  • 深度学习模型的 CPU 和 GPU 性能分析比较

    使用 Pytorch 实现深度神经网络时，本文通过分析 CPU 和 GPU 的时间和内存分配，显示 GPU 相比 CPU 在深度神经网络的训练中运行时间更短，但在简化网络中，GPU 相比 CPU 没有太多显著的改进。

    Sep, 2023

  • 优化 CPU 上 CNN 模型的推理

    本研究提出了一种名为 'NeoCPU' 的综合方法，通过对模板进行优化实现卷积神经网络模型的 CPU 推理，而不是依赖第三方库来实现模型图的单独操作优化，从而通过操作级别和图级别同时优化来进一步提高性能。实验结果表明，与当前各种流行 CPU 上的最先进实现相比，NeoCPU 的卷积神经网络模型推理延迟可降低 3.45 倍。

    Sep, 2018

  • 与硬件协同设计模型架构的案例

    通过仔细考虑 GPU 上执行的基础计算核心的各种模型超参数对模型形状效率的影响，我们提供了一套指南，以最大化用户的 Transformer 模型的运行时性能。通过优化模型形状，与具有类似参数但形状未经优化的模型相比，高效模型形状的吞吐量提高了多达 39％，同时保持准确性。

    Jan, 2024

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • 大规模神经网络训练调查

    本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

    Feb, 2022

  • 基于多 GPU 平台的模型并行的高效稳健的 DNN 训练

    该论文提出了一种基于 SpecTrain 的管道模型并行执行方法，可以在保持训练准确性的前提下，实现高 GPU 利用率，相比数据并行法可提高 8.91 倍的速度。

    Sep, 2018

  • 深度学习推荐模型规模训练效率探究

    本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

    Nov, 2020

  • 异构移动处理器上的深度学习推理：潜力与陷阱

    在资源受限的移动设备上部署计算密集型的深度学习模型以实现实时智能应用的需求与日俱增，在各种处理单元（如 CPU、GPU 和 NPU）的支持下，移动设备有潜力通过在异构处理器之间进行并行执行来加速深度学习推理。本文通过精心设计的实验，涵盖了各种深度学习模型、移动软件 / 硬件环境、工作负载模式和资源可用性，综合性地评估了在异构移动处理器上进行并行深度学习推理的能力和挑战，并确定了现有技术的局限性，并强调了跨层级优化的机会。

    May, 2024

  • 深度学习中 TPU、GPU 和 CPU 平台的基准测试

    这篇研究论文介绍了一个参数化基准套件 Paradnn，用于评估深度学习平台性能，重点评估了谷歌 Cloud TPU v2/v3、英伟达 V100 GPU 和英特尔 Skylake CPU 平台，在针对每种平台引入特殊软件技术栈的情况下，对每种类型的模型的专门优势进行了量化比较。

    Jul, 2019

  • 深度学习软件工具的最新技术对标

    本文主要研究了 Caffe、CNTK、MXNet、TensorFlow 和 Torch 等最新的 GPU 加速深度学习软件工具，并通过基准测试比较了这些工具的性能。本研究旨在为终端用户选择合适的硬件平台和软件工具提供指南，并为深度学习工具的软件开发者指出未来的性能优化方向。

    Aug, 2016