Sep, 2023

增强推荐系统中的跨类别学习：多层嵌入训练

PDF
TL;DR现代的基于 DNN 的推荐系统依赖于对稀疏特征进行训练得到的嵌入。输入的稀疏性使得对于很少出现的类别难以获得高质量的嵌入，因为它们的表示不经常更新。我们通过有效的跨类别学习在训练时演示了一种产生优越嵌入的技术，并从理论上解释了它的出人意料的有效性。这种称为多层嵌入训练（MLET）的方案使用嵌入层的分解来训练嵌入，内部维度高于目标嵌入维度。为了提高推理效率，MLET 将经过训练的双层嵌入转换为单层嵌入，从而保持推理时模型大小不变。在多个最先进的点击率（CTR）预测任务的推荐模型上进行测试时，MLET 始终产生更好的模型，特别是对于罕见的项目。在保持模型质量不变的情况下，MLET 允许模型的嵌入维度和模型大小分别减少高达 16 倍和平均减少 5.8 倍。
dnn-based recommendation systemsembeddingmulti-layer embeddings traininginference efficiencyclick-through rate prediction
发现论文，激发创造
  • 应用于内存高效推荐系统的混合维度嵌入

    通过使用混合维度嵌入层架构，将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，并同时提高机器学习性能，作者在 Criteo Kaggle 数据集上进行了实验验证。

    Sep, 2019

  • 矩阵分解的高效混合维度嵌入

    本文提出了两种采用混合维度嵌入的矩阵分解模型，可以采用交替最小二乘法以大规模并行的方式进行优化，并针对用户和项目的流行度偏斜实现了是用稀疏，混合维度或共享嵌入降低参数数量和过度拟合的研究。

    May, 2022

  • 利用互补划分的组合嵌入实现内存高效的推荐系统

    本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

    Sep, 2019

  • 推荐系统的聚类嵌入学习

    本文提出了 “聚类嵌入学习”（CEL）作为嵌入学习中应对冷启动、低频用户和项目，以及内存成本等问题的综合解决方案，能够自动且动态地通过自上而下的方法对用户和项目进行聚类，而聚类内的实体共同学习共享的嵌入向量，被验证在减小嵌入表大小、提高性能等方面具有显著优势。

    Feb, 2023

  • 轻量级基于嵌入的推荐系统的全面性能基准测试

    这项研究通过全面的基准测试过程，对轻量级嵌入式推荐系统（LERSs）的性能、效率和跨任务可转移性进行了调查，并提出了一种高效的嵌入式压缩方法，采用幅度剪枝，克服了现有复杂 LERSs 方法的竞争力，并揭示了 LERSs 在协同过滤和基于内容的推荐两个任务中的独特性能以及其有效性和普适性的启示。

    Jun, 2024

  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 统一嵌入：面向 Web 规模 ML 系统的经过实战测试的特征表示

    介绍了一种名为特征复用的高效且高效的框架，该框架通过使用单个表示空间跨越许多不同的分类特征，解决了特征嵌入算法中的瓶颈。在三个公共基准数据集上，多路复用表示法导致 Pareto 最优的参数 - 准确性权衡。统一嵌入给出了显着的纠正 Web-Scale 的离线和在线指标的结果。

    May, 2023

  • 为推荐系统学习大词汇类别特征的多粒度量化嵌入

    本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

    Feb, 2020

  • 学习将分类特征嵌入到推荐模型中，不需要使用表格

    本文提出了一种名为 Deep Hash Embedding（DHE）的替代嵌入框架，通过多重哈希函数和转换将特征值编码为唯一标识符向量，并将其应用于 DNN 生成嵌入，用于处理高基数特征和未知特征值等实际推荐系统中存在的挑战。实证结果表明，DHE 在模型大小更小的情况下实现了与标准的 one-hot 全嵌入相当的 AUC，为基于 DNN 的替代嵌入方案的设计提供了新思路。

    Oct, 2020

  • Mem-Rec: 使用替代表示的内存高效推荐系统

    本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

    May, 2023