本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

Nov, 2020

Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

Apr, 2022

本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

Aug, 2022

本文提出了一种紧凑、自适应和快速的嵌入式压缩框架 CAFE，旨在同时满足内存效率、低延迟和适应动态数据分布的三个关键设计要求。CAFE 采用快速轻量级的 HotSketch 数据结构实时捕捉特征重要性并报告热门特征，通过哈希嵌入技术，为非热门特征分配唯一嵌入，透过多级哈希嵌入框架对非热门特征的嵌入表进行优化，实验证明 CAFE 在 10000 倍压缩比下相比现有的嵌入式压缩方法具有 3.92% 和 3.68% 更高的测试 AUC。

Dec, 2023

Slipstream 是一个软件框架，通过识别过时的嵌入并跳过其更新来提高性能，在真实世界的数据集和配置方面，相比 Baseline XDL、Intel-optimized DRLM、FAE 和 Hotline，SlipStream 分别展示了 2 倍、2.4 倍、1.2 倍和 1.175 倍的训练时间缩短。

Mar, 2024

该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

Oct, 2020

现代的基于 DNN 的推荐系统依赖于对稀疏特征进行训练得到的嵌入。输入的稀疏性使得对于很少出现的类别难以获得高质量的嵌入，因为它们的表示不经常更新。我们通过有效的跨类别学习在训练时演示了一种产生优越嵌入的技术，并从理论上解释了它的出人意料的有效性。这种称为多层嵌入训练（MLET）的方案使用嵌入层的分解来训练嵌入，内部维度高于目标嵌入维度。为了提高推理效率，MLET 将经过训练的双层嵌入转换为单层嵌入，从而保持推理时模型大小不变。在多个最先进的点击率（CTR）预测任务的推荐模型上进行测试时，MLET 始终产生更好的模型，特别是对于罕见的项目。在保持模型质量不变的情况下，MLET 允许模型的嵌入维度和模型大小分别减少高达 16 倍和平均减少 5.8 倍。

Sep, 2023

本文提出了 “聚类嵌入学习”（CEL）作为嵌入学习中应对冷启动、低频用户和项目，以及内存成本等问题的综合解决方案，能够自动且动态地通过自上而下的方法对用户和项目进行聚类，而聚类内的实体共同学习共享的嵌入向量，被验证在减小嵌入表大小、提高性能等方面具有显著优势。

Feb, 2023

通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

Apr, 2023

本文提出了 ScaleFreeCTR—— 一种基于 MixCache 的 CTR 模型分布式训练系统，旨在解决采用模型并行的推荐分布式训练平台中的性能瓶颈问题，并通过全面性能和消融实验表明了其有效性和高效性。

Apr, 2021