Apr, 2022

面向推荐系统训练的异构加速管线

PDF
TL;DRHotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。
recommendation systemscompute intensitymemory intensitygpu accelerationhotline
发现论文，激发创造
  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 从零开始训练个性化推荐系统：前瞻而非后退

    本文提出了一种利用推荐系统训练独特属性设计嵌入式缓存的 ScratchPipe 架构，旨在解决推荐系统训练中由于嵌入层占用过多内存而导致性能低下的问题。

    May, 2022

  • Holmes: 面向集群间具有异构 NIC 环境的分布式训练

    Holmes 是一个专门为 LLMs 设计的训练框架，通过巧妙构建数据和模型并行策略，在异构 NIC 环境下实现了可扩展性，并在大多数情况下达到接近 RDMA 网络性能的学习效率，同时与其他主流 LLM 框架无缝集成。

    Dec, 2023

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • 深度学习推荐模型规模训练效率探究

    本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

    Nov, 2020

  • 大规模深度推荐模型的 GPU 专用推理参数服务器

    本文介绍了 HugeCTR Hierarchical Parameter Server（HPS），这是一种结合了高性能 GPU 嵌入式缓存和分层存储架构的行业领先的分布式推荐推断框架，可将端到端推理延迟显着降低至 5-62 倍，并可以通过多 GPU 并发部署显著提高推理 QPS。

    Oct, 2022

  • 现代数据密集型应用的异构数据中心架构：机器学习和数据库的案例研究

    本研究通过对数据访问和计算模式的分析，以深度优化算法和硬件，提出了两种利用 PIM 范式进行机器学习和混合事务 / 分析处理的数据中心架构。

    May, 2022

  • 通过动态跳过陈旧嵌入来加速推荐模型训练

    Slipstream 是一个软件框架，通过识别过时的嵌入并跳过其更新来提高性能，在真实世界的数据集和配置方面，相比 Baseline XDL、Intel-optimized DRLM、FAE 和 Hotline，SlipStream 分别展示了 2 倍、2.4 倍、1.2 倍和 1.175 倍的训练时间缩短。

    Mar, 2024