Feb, 2020

为推荐系统学习大词汇类别特征的多粒度量化嵌入

PDF
TL;DR本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。
recommender systemsparse featuresembeddingsdifferentiable product quantizationmulti-granular quantized embeddings
发现论文，激发创造
  • 嵌入表格的训练后 4 位量化

    本文研究在推荐系统中使用连续表示的实体进行后训练四位量化，提出了基于行均匀量化和基于码本量化的量化方法，这些方法在减少精度降级方面均优于现有的量化方法，作者在 Facebook 的生产模型中应用了均匀量化技术并表明该技术可以将模型尺寸压缩到单精度版本的只有 13.89% 的大小，而模型质量保持不变。

    Nov, 2019

  • 可微分乘积量化用于端到端嵌入压缩

    本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。

    Aug, 2019

  • 可转移的序列推荐学习向量量化物品表示

    本文提出了一个新的方法 VQ-Rec，使用基于向量量化的项目表示方法作为可转移的顺序推荐系统，并使用半合成和混合域代码表示作为硬负面来增强对比预训练方法。在六个公共基准测试中进行的广泛实验证明了这种方法在跨领域和跨平台设置中的有效性。

    Oct, 2022

  • 学习将分类特征嵌入到推荐模型中，不需要使用表格

    本文提出了一种名为 Deep Hash Embedding（DHE）的替代嵌入框架，通过多重哈希函数和转换将特征值编码为唯一标识符向量，并将其应用于 DNN 生成嵌入，用于处理高基数特征和未知特征值等实际推荐系统中存在的挑战。实证结果表明，DHE 在模型大小更小的情况下实现了与标准的 one-hot 全嵌入相当的 AUC，为基于 DNN 的替代嵌入方案的设计提供了新思路。

    Oct, 2020

  • 利用互补划分的组合嵌入实现内存高效的推荐系统

    本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

    Sep, 2019

  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 大规模推荐模型的神经输入搜索

    该研究提出 Neural Input Search 技术，它通过强化学习自动学习在记忆限制下最优的分类特征嵌入维度和词汇大小，相较于传统的 Single-size Embedding，采用一种新型的嵌入方法 ——Multi-size Embedding，它能让特征值的嵌入维度有所不同，在两种类型的推荐问题上实现了较好的表现。

    Jul, 2019

  • 推荐系统中的嵌入：一项调查

    推荐系统中的嵌入技术是关键，它将高维离散特征转化为低维连续向量以提升推荐性能，并涵盖协同过滤、自监督学习和基于图的技术，同时介绍了自动机器学习、哈希技术和量化技术，旨在改善推荐系统的性能和降低计算复杂性。

    Oct, 2023

  • 基于产品量化嵌入索引的深度检索模型联合学习

    本文提出了一种称为 Poeem 的新方法，它采用了产品量化嵌入索引与深度检索模型联合训练的方法，将嵌入学习和索引构建两个步骤统一起来，从而提高了检索准确率，减少了索引时间，并公开了我们的方法以便于比较和重现。

    May, 2021

  • 统一嵌入：面向 Web 规模 ML 系统的经过实战测试的特征表示

    介绍了一种名为特征复用的高效且高效的框架，该框架通过使用单个表示空间跨越许多不同的分类特征，解决了特征嵌入算法中的瓶颈。在三个公共基准数据集上，多路复用表示法导致 Pareto 最优的参数 - 准确性权衡。统一嵌入给出了显着的纠正 Web-Scale 的离线和在线指标的结果。

    May, 2023