本文介绍了 Facebook 在机器学习中使用的大规模推荐模型 (DLRMs)，探讨了在模型规模和复杂性不断增加时，如何高效地扩展训练。为了解决这个问题，Facebook 设计了 Zion 平台，作为下一代大内存训练平台，由 CPU 和加速器组成。

Mar, 2020

该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的性能，并可作为未来算法实验和系统设计的基准。

May, 2019

本论文介绍了一款软硬协同优化的分布式深度学习系统，通过使用多环通信模式和 GPU 的大规模并行计算等技术大幅度缩短了深度神经网络的训练时间，并在 Resnet-101 上取得了 33.8% 的验证精度，系统已被集成到 Tensorflow、Caffe 和 Torch 中。

Aug, 2017

利用实际世界的处理内存 (PIM) 硬件 UPMEM DPU，提出 UpDLRM，以增加内存带宽并减少推荐延迟。通过利用 DPU 内存的并行特性，可以为嵌入式查找中的大量不规则内存访问提供高聚合带宽，从而在推理时提供巨大潜力来降低延迟。通过研究嵌入式表分区问题，充分利用 DPU 内存带宽，实现良好的工作负载平衡和高效的数据缓存。使用真实世界数据集进行评估，UpDLRM 在 DLRM 中实现了比仅 CPU 和 CPU-GPU 混合对应物更低的推理时间。

Jun, 2024

通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

Apr, 2023

本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

Nov, 2020

本文总结了自动机器学习用于生成深度推荐系统模型的方法。作者概述了自动机器学习和相关技术，讨论了自动化特征选择、嵌入、交互和训练模型的最新方法，指出已有的基于自动机器学习的推荐系统正向着具有抽象搜索空间和高效搜索算法的多组件联合搜索方向发展，并略述了吸引人的未来研究方向。

Apr, 2022

提供了一种针对基于元学习的 DLRM 模型的高性能框架，名为 G-Meta，在 GPU 集群上实现大规模训练，通过数据并行和模型并行来实现高速分布式训练，并提出了 Meta-IO 管道来解决 I/O 瓶颈，具有显著的训练速度和统计性能改进。

Jan, 2024

本研究提出了一种基于 CPU 的深度学习引擎 SLIDE，采用智能随机算法、多核并行和工作负载优化，通过针对大规模完全连接网络的训练，相对于优化的 Tensorflow（TF）在最佳可用 GPU 上进行训练，在任何给定准确性水平下，使用仅仅一个 44 核 CPU，SLIDE 的训练速度比 TF 快 3.5 倍（1 小时与 3.5 小时相比）。在相同的 CPU 硬件上，SLIDE 比 TF 快 10 倍以上。

Mar, 2019

本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

Aug, 2022