Mar, 2024

通过动态跳过陈旧嵌入来加速推荐模型训练

PDF
TL;DRSlipstream 是一个软件框架，通过识别过时的嵌入并跳过其更新来提高性能，在真实世界的数据集和配置方面，相比 Baseline XDL、Intel-optimized DRLM、FAE 和 Hotline，SlipStream 分别展示了 2 倍、2.4 倍、1.2 倍和 1.175 倍的训练时间缩短。
发现论文，激发创造
  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练

    SAT 是一种新颖的可扩展分布式 GNN 训练框架，通过建立包括时序图模型以预测未来嵌入的模型，有效减轻了缓存历史嵌入的陈旧问题，从而在多个大规模图数据集上实现了更好的性能和收敛速度。

    Aug, 2023

  • SlipStream: 分布式训练大规模 DNN 中的流水线调整

    SlipStream 是一种在分布式培训系统中有效处理失败的系统，利用功能冗余和管道调度内的泡沫，通过两种优化实现连续培训并最小化或消除训练吞吐量降低。

    May, 2024

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 使用嵌入技术对抗冗余和模型衰减

    本文介绍了 Twitter 在处理海量信息时的一种解决方案，通过采用嵌入模型，实现了同时考虑模型效率与数据分布的算法更新，从而降低因语言变化带来的协变量漂移、减少冗余，并极大地提高了团队建模的效率。

    Sep, 2018

  • 面向推荐系统训练的异构加速管线

    Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

    Apr, 2022

  • 理解词嵌入的下游不稳定性

    对现代自然语言处理管道的核心构建块 —— 预训练词嵌入的稳定性进行深入研究，通过提出新的嵌入不稳定性度量来解释模型训练的不稳定性，并提出提高嵌入存储大小以达到降低不稳定性的稳定性 - 内存权衡。

    Feb, 2020

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 动态稀疏学习：一种高效推荐的新范式

    在深度学习推荐系统领域，我们引入了一种新的学习范式，Dynamic Sparse Learning (DSL)，通过动态调整模型的稀疏性分布和权重的重要性，从而在训练和推理过程中实现端到端的高效率，显著减少了训练和推理成本，同时提供可比较的推荐性能。

    Feb, 2024

  • 流式推荐系统中具有最小遗憾的动态嵌入尺寸搜索

    基于深度学习的推荐系统中，流媒体推荐系统的兴起带来了动态嵌入尺寸搜索的问题，为解决这一问题，本文提出了动态嵌入尺寸搜索（DESS）方法，该方法通过在非静态环境中减小嵌入尺寸选择的后悔度来实现更好的推荐性能。

    Aug, 2023