Jan, 2022

RecShard：基于统计特征的内存优化技术，适用于工业级神经推荐

PDF
TL;DR该研究提出了一种基于训练数据分布和模型特征的优化的 RecShard 方法，适用于嵌套的内存架构中对深度学习推荐模型 (Deep Learning Recommendation Models, DLRMs) 中的 EMB 内存表进行分区和布局，能够有效地提高训练吞吐量。
fine-grained embedding tabledeep learning recommendation modelsemb partitioning and placementmemory hierarchytraining throughput
发现论文，激发创造
  • AutoShard: 推荐系统的自动嵌入表切片

    介绍了 Meta 中的 AutoShard，使用神经代价模型直接预测多表代价，并利用深度强化学习解决分区问题的新实践，其有效性，可转移性和效率使其适用于生产使用。

    Aug, 2022

  • Mem-Rec: 使用替代表示的内存高效推荐系统

    本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

    May, 2023

  • 预训练与搜索：利用预训练神经成本模型实现高效的嵌入表分片

    本文提出了一种有效的分片方法 ——“预训练和搜索”，使用预训练的神经成本模型作为高效的分片模拟器，并在此基础上使用在线搜索来识别最佳分片方案，实验表明，NeuroShard 可以在分片数据集上以多项改进表现，同时在实际应用中，可以取得 6.6% 的端到端训练吞吐量改进。

    May, 2023

  • MTrainS：使用异构内存提高 DLRM 训练效率

    通过优化平台内存层次结构，设计 MTrainS 在深度学习推荐模型 (DLRM) 中降低节点数目，优化内存容量，提高训练效率，从而减少功耗和训练成本。

    Apr, 2023

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 使用缓存的混合精度嵌入

    该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

    Oct, 2020

  • TT-Rec: 深度学习推荐模型的张量列车压缩

    本文研究了深度学习推荐模型中嵌入表的内存容量问题并提出了 Tensor Train 分解的解决方案。通过优化成熟度更低的 TT-Rec 及其核心部件 TT-EmbeddingBag，它在 Kaggle 和 Terabyte 数据集上均实现了 117 倍和 112 倍的模型大小压缩，并且没有任何准确性或训练时间开销。

    Jan, 2021

  • 学习弹性嵌入用于定制设备推荐算法

    本研究提出了一种基于弹性嵌入的轻量级推荐算法，它允许在不重新训练的情况下自动适应任意设备特定的内存限制，并通过多样性驱动的规则化和性能估计法来获得更出色的性能表现。

    Jun, 2021

  • 面向可扩展嵌入式检索的逐步优化的双粒度文档表示

    通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

    Jan, 2022

  • 利用互补划分的组合嵌入实现内存高效的推荐系统

    本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

    Sep, 2019