本文提出了一种基于 AutoML 的深度学习推荐系统框架 (AutoEmb), 其中包含可以自动选择嵌入维度的动态嵌入层，实验结果表明该框架的有效性。

Feb, 2020

通过使用混合维度嵌入层架构，将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，并同时提高机器学习性能，作者在 Criteo Kaggle 数据集上进行了实验验证。

Sep, 2019

本文提出了一种自适应选择重要特征字段的 AutoML 框架，该框架设计了一个可微的控制器网络，通过自动调整选择特定特征字段的概率来重新训练深度推荐模型，实验证明了该框架的有效性。

Apr, 2022

推荐系统中的嵌入技术是关键，它将高维离散特征转化为低维连续向量以提升推荐性能，并涵盖协同过滤、自监督学习和基于图的技术，同时介绍了自动机器学习、哈希技术和量化技术，旨在改善推荐系统的性能和降低计算复杂性。

Oct, 2023

通过在训练期间动态调整嵌入向量的维度，使用虚拟散列的物理索引哈希表设计了一种新颖的嵌入存储系统，从而实现内存节省。实验结果表明，该方法在减少嵌入大小超过 65% 的同时，保持了训练模型的质量，并且相比最先进的嵌入剪枝方法，能够节省更多的内存。在公共点击率预测数据集上，能够剪枝 93.75%-99.75% 的嵌入而几乎不影响准确性。

Jan, 2024

本文提出了两种采用混合维度嵌入的矩阵分解模型，可以采用交替最小二乘法以大规模并行的方式进行优化，并针对用户和项目的流行度偏斜实现了是用稀疏，混合维度或共享嵌入降低参数数量和过度拟合的研究。

May, 2022

本研究提出了一种基于弹性嵌入的轻量级推荐算法，它允许在不重新训练的情况下自动适应任意设备特定的内存限制，并通过多样性驱动的规则化和性能估计法来获得更出色的性能表现。

Jun, 2021

本篇论文提出一种名为 PEP（即插入嵌入剪枝）的新方法，通过将冗余参数修剪掉提高了基本模型的性能，同时可以自适应地从数据进行修剪阈值的学习，从而自动获得混合维度的嵌入方案，有效地减少了嵌入参数。

Jan, 2021

本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

Feb, 2020

本文介绍了一种行业广告推荐系统，重点关注学习合适表示的挑战和实践。我们展示了保留先验信息的方法，将各种类型的特征编码为嵌入表示。此外，我们探讨了特征表示中的两个关键挑战：嵌入维度崩塌和各种任务或场景的兴趣交织。随后，我们提出了几种实用的方法来有效应对这两个挑战。我们还探索了几种训练技术，以促进模型优化、减少偏差和增强探索。此外，我们介绍了三种分析工具，可以全面研究特征相关性、维度崩塌和兴趣交织。本研究建立在腾讯广告推荐团队过去十年的持续努力基础上，不仅总结了一般的设计原则，还提供了一系列现成的解决方案和分析工具。所报告的性能基于我们的在线广告平台，每天处理数千亿个请求，为数十亿用户提供数百万个广告。

Feb, 2024