该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

Oct, 2020

通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

Mar, 2021

通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

Apr, 2023

本文提出了一种利用推荐系统训练独特属性设计嵌入式缓存的 ScratchPipe 架构，旨在解决推荐系统训练中由于嵌入层占用过多内存而导致性能低下的问题。

May, 2022

利用实际世界的处理内存 (PIM) 硬件 UPMEM DPU，提出 UpDLRM，以增加内存带宽并减少推荐延迟。通过利用 DPU 内存的并行特性，可以为嵌入式查找中的大量不规则内存访问提供高聚合带宽，从而在推理时提供巨大潜力来降低延迟。通过研究嵌入式表分区问题，充分利用 DPU 内存带宽，实现良好的工作负载平衡和高效的数据缓存。使用真实世界数据集进行评估，UpDLRM 在 DLRM 中实现了比仅 CPU 和 CPU-GPU 混合对应物更低的推理时间。

Jun, 2024

本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

May, 2023

本文提出了 ScaleFreeCTR—— 一种基于 MixCache 的 CTR 模型分布式训练系统，旨在解决采用模型并行的推荐分布式训练平台中的性能瓶颈问题，并通过全面性能和消融实验表明了其有效性和高效性。

Apr, 2021

Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

Apr, 2022

本文提出了一种紧凑、自适应和快速的嵌入式压缩框架 CAFE，旨在同时满足内存效率、低延迟和适应动态数据分布的三个关键设计要求。CAFE 采用快速轻量级的 HotSketch 数据结构实时捕捉特征重要性并报告热门特征，通过哈希嵌入技术，为非热门特征分配唯一嵌入，透过多级哈希嵌入框架对非热门特征的嵌入表进行优化，实验证明 CAFE 在 10000 倍压缩比下相比现有的嵌入式压缩方法具有 3.92% 和 3.68% 更高的测试 AUC。

Dec, 2023

本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

Nov, 2020