Oct, 2022

Merlin HugeCTR: GPU 加速的推荐系统训练和推断

PDF
TL;DRMerlin HugeCTR 是一种用于 CTR 估算的开源 GPU 加速集成框架，支持训练和推断优化，利用模型并行嵌入和数据并行神经网络进行规模化的模型训练，并使用高性能 GPU 嵌入式缓存和分层存储架构相结合，以实现低延迟的在线推荐任务。支持使用 NVIDIA Triton 服务器框架部署，可大幅减少端到端推荐模型推断的延迟。
发现论文，激发创造
  • 大规模深度推荐模型的 GPU 专用推理参数服务器

    本文介绍了 HugeCTR Hierarchical Parameter Server（HPS），这是一种结合了高性能 GPU 嵌入式缓存和分层存储架构的行业领先的分布式推荐推断框架，可将端到端推理延迟显着降低至 5-62 倍，并可以通过多 GPU 并发部署显著提高推理 QPS。

    Oct, 2022

  • ScaleFreeCTR：基于 MixCache 的 CTR 模型分布式训练系统与大规模嵌入表

    本文提出了 ScaleFreeCTR—— 一种基于 MixCache 的 CTR 模型分布式训练系统，旨在解决采用模型并行的推荐分布式训练平台中的性能瓶颈问题，并通过全面性能和消融实验表明了其有效性和高效性。

    Apr, 2021

  • 深度学习推荐模型快速可扩展训练的软件硬件协同设计

    本文介绍了使用 PyTorch 和 Zion platform 的高性能可扩展软件堆栈的 SW/HW 共同设计方案，用于高效训练大规模 DLRMs，实现了可分层分区和高性能的数据通信等多项优化，从而在之前系统的基础上将训练时间提速了 40 倍。

    Apr, 2021

  • 面向推荐系统训练的异构加速管线

    Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

    Apr, 2022

  • 用于快速训练点击率预测模型的极限学习机

    基于嵌入层增强的 ELM 模型在 CTR 任务中表现出色，同时显著减少训练时间，特别适用于快速训练的情况。

    Jun, 2024

  • G-Meta: 大规模推荐系统的 GPU 集群分布式元学习

    提供了一种针对基于元学习的 DLRM 模型的高性能框架，名为 G-Meta，在 GPU 集群上实现大规模训练，通过数据并行和模型并行来实现高速分布式训练，并提出了 Meta-IO 管道来解决 I/O 瓶颈，具有显著的训练速度和统计性能改进。

    Jan, 2024

  • PowerInfer：在消费级 GPU 上快速提供大型语言模型服务

    PowerInfer 是一个高速的 GPU-CPU 混合推理引擎，利用大型语言模型 (LLM) 推理中固有的高局部性，并通过预加载热激活的神经元到 GPU 以快速访问、在 CPU 上计算冷激活的神经元，从而显著降低 GPU 内存需求和 CPU-GPU 数据传输，并且通过自适应预测器和神经元感知稀疏操作进一步优化神经元激活和计算稀疏性，评估结果显示，在单个 NVIDIA RTX 4090 GPU 上，PowerInfer 在各种 LLM (包括 OPT-175B) 上实现了平均 13.20 令牌 / 秒的生成速率，峰值为 29.08 令牌 / 秒，仅比顶级服务器级 A100 GPU 低 18%，相比于 llama.cpp 最大提升了 11.69 倍，仍保持着模型精度。

    Dec, 2023

  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 使用小型 GPU 群集训练一个大型语言模型

    该研究提出了一种名为 Elixir 的并行异构训练系统，它在操作符的粒度上生成并行化计划，采用分层分布式内存管理方案以加速 GPU 间通信和 CPU-GPU 数据传输，并且实现了新型模型并行化的灵活性和高效性。

    Dec, 2022