本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

Sep, 2019

本研究旨在改进深度推荐模型中嵌入表的巨大存储要求，提出了一种名为 Learned Hash Functions 的新方法，它从历史数据和嵌入访问模式中学习新的映射函数，并通过在语义上相似的 id 之间引入碰撞来减小嵌入表的大小，实验表明，该方法比散列技术和其他压缩技术都要更有效。

Mar, 2022

提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

Mar, 2022

本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

Feb, 2020

推荐系统中的嵌入技术是关键，它将高维离散特征转化为低维连续向量以提升推荐性能，并涵盖协同过滤、自监督学习和基于图的技术，同时介绍了自动机器学习、哈希技术和量化技术，旨在改善推荐系统的性能和降低计算复杂性。

Oct, 2023

本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

May, 2023

本文介绍了如何将分类变量映射为欧氏空间中的实体嵌入，通过在标准监督训练过程中让神经网络进行学习。实体嵌入不仅可以减少内存使用和加速神经网络，更重要的是通过将相似的值映射到嵌入空间中靠近的位置，揭示了分类变量的内在属性，并帮助神经网络在稀疏且统计学未知的数据集上更好地泛化，因此在具有许多高基数特征的数据集上尤其有用，并且可以用于可视化分类数据和数据聚类。

Apr, 2016

现代的基于 DNN 的推荐系统依赖于对稀疏特征进行训练得到的嵌入。输入的稀疏性使得对于很少出现的类别难以获得高质量的嵌入，因为它们的表示不经常更新。我们通过有效的跨类别学习在训练时演示了一种产生优越嵌入的技术，并从理论上解释了它的出人意料的有效性。这种称为多层嵌入训练（MLET）的方案使用嵌入层的分解来训练嵌入，内部维度高于目标嵌入维度。为了提高推理效率，MLET 将经过训练的双层嵌入转换为单层嵌入，从而保持推理时模型大小不变。在多个最先进的点击率（CTR）预测任务的推荐模型上进行测试时，MLET 始终产生更好的模型，特别是对于罕见的项目。在保持模型质量不变的情况下，MLET 允许模型的嵌入维度和模型大小分别减少高达 16 倍和平均减少 5.8 倍。

Sep, 2023

通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

Mar, 2021

本研究针对数值特征在计算表格数据方面的表现，提出在深度学习中使用数值特征嵌入提升性能的方法，并重点研究两种不同的嵌入方式，并实现了嵌入在简单 MLP-like 模型与 attention-based 结构中的对比性能提升。

Mar, 2022