Sep, 2019

利用互补划分的组合嵌入实现内存高效的推荐系统

PDF
TL;DR本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。
deep learningrecommendation systemsembeddingmemory bottleneckhashing trick
发现论文，激发创造
  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 学习将分类特征嵌入到推荐模型中，不需要使用表格

    本文提出了一种名为 Deep Hash Embedding（DHE）的替代嵌入框架，通过多重哈希函数和转换将特征值编码为唯一标识符向量，并将其应用于 DNN 生成嵌入，用于处理高基数特征和未知特征值等实际推荐系统中存在的挑战。实证结果表明，DHE 在模型大小更小的情况下实现了与标准的 one-hot 全嵌入相当的 AUC，为基于 DNN 的替代嵌入方案的设计提供了新思路。

    Oct, 2020

  • Mem-Rec: 使用替代表示的内存高效推荐系统

    本研究提出了 MEM-REC，一种基于布隆过滤器和哈希方法的分类特征编码技术，以用较小的嵌入表来取代传统的大型嵌入表，可以在商业推荐模型中提供高质量的个性化推荐，并提高嵌入延迟。

    May, 2023

  • 学习碰撞：使用学习的哈希函数进行推荐系统模型压缩

    本研究旨在改进深度推荐模型中嵌入表的巨大存储要求，提出了一种名为 Learned Hash Functions 的新方法，它从历史数据和嵌入访问模式中学习新的映射函数，并通过在语义上相似的 id 之间引入碰撞来减小嵌入表的大小，实验表明，该方法比散列技术和其他压缩技术都要更有效。

    Mar, 2022

  • 统一嵌入：面向 Web 规模 ML 系统的经过实战测试的特征表示

    介绍了一种名为特征复用的高效且高效的框架，该框架通过使用单个表示空间跨越许多不同的分类特征，解决了特征嵌入算法中的瓶颈。在三个公共基准数据集上，多路复用表示法导致 Pareto 最优的参数 - 准确性权衡。统一嵌入给出了显着的纠正 Web-Scale 的离线和在线指标的结果。

    May, 2023

  • 应用于内存高效推荐系统的混合维度嵌入

    通过使用混合维度嵌入层架构，将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，并同时提高机器学习性能，作者在 Criteo Kaggle 数据集上进行了实验验证。

    Sep, 2019

  • 为推荐系统学习大词汇类别特征的多粒度量化嵌入

    本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

    Feb, 2020

  • 增强推荐系统中的跨类别学习：多层嵌入训练

    现代的基于 DNN 的推荐系统依赖于对稀疏特征进行训练得到的嵌入。输入的稀疏性使得对于很少出现的类别难以获得高质量的嵌入，因为它们的表示不经常更新。我们通过有效的跨类别学习在训练时演示了一种产生优越嵌入的技术，并从理论上解释了它的出人意料的有效性。这种称为多层嵌入训练（MLET）的方案使用嵌入层的分解来训练嵌入，内部维度高于目标嵌入维度。为了提高推理效率，MLET 将经过训练的双层嵌入转换为单层嵌入，从而保持推理时模型大小不变。在多个最先进的点击率（CTR）预测任务的推荐模型上进行测试时，MLET 始终产生更好的模型，特别是对于罕见的项目。在保持模型质量不变的情况下，MLET 允许模型的嵌入维度和模型大小分别减少高达 16 倍和平均减少 5.8 倍。

    Sep, 2023

  • 使用集合理论嵌入回答组合式查询

    本篇论文提出了使用盒式嵌入进行组合查询的方法，相较于向量嵌入，盒式嵌入在中等和较大的检索集合大小方面为用户的搜索和浏览提供了更多的优势。

    Jun, 2023

  • 大规模可学习向量存储压缩的实验分析

    我们对嵌入向量的压缩进行了全面的比较分析和实验评估，引入了一个新的分类法，并开发了一个模块化基准测试框架，评估了 14 种代表性方法，从而为不同内存预算下的使用情形推荐了最佳方法。此外，我们的研究还揭示了当前方法的局限性，并提出了未来研究的潜在方向。

    Nov, 2023