Jan, 2024

基于训练的细粒度嵌入维度优化的推荐系统

PDF
TL;DR通过在训练期间动态调整嵌入向量的维度，使用虚拟散列的物理索引哈希表设计了一种新颖的嵌入存储系统，从而实现内存节省。实验结果表明，该方法在减少嵌入大小超过 65% 的同时，保持了训练模型的质量，并且相比最先进的嵌入剪枝方法，能够节省更多的内存。在公共点击率预测数据集上，能够剪枝 93.75%-99.75% 的嵌入而几乎不影响准确性。
发现论文，激发创造
  • 为推荐设计的内存高效嵌入

    本文介绍一种基于 AutoML 的框架（AutoDim），该框架可以以数据驱动的方式自动为不同的特征字段选择维度，并在基准数据集上进行了广泛实验来验证其有效性。

    Jun, 2020

  • 应用于内存高效推荐系统的混合维度嵌入

    通过使用混合维度嵌入层架构，将嵌入向量的维度与其查询频率相匹配，可以显著降低内存使用，并同时提高机器学习性能，作者在 Criteo Kaggle 数据集上进行了实验验证。

    Sep, 2019

  • EnterpriseEM: 为企业语义搜索调整的嵌入

    本研究提出了一种专门针对企业环境进行微调的预训练嵌入模型的方法，通过使嵌入模型更适合企业中普遍存在的检索任务，旨在提高信息检索解决方案的性能，研究结果表明微调嵌入模型在改善企业环境下搜索结果的精确性和相关性方面是有效的。

    May, 2024

  • 使用缓存的混合精度嵌入

    该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

    Oct, 2020

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 可学习的推荐系统嵌入尺寸

    本篇论文提出一种名为 PEP（即插入嵌入剪枝）的新方法，通过将冗余参数修剪掉提高了基本模型的性能，同时可以自适应地从数据进行修剪阈值的学习，从而自动获得混合维度的嵌入方案，有效地减少了嵌入参数。

    Jan, 2021

  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 用于高效再识别的嵌入式压缩

    这篇论文研究了针对现实世界中物体再识别（ReID）算法的嵌入式压缩技术，通过量化感知训练和三种不同的降维方法（迭代结构化剪枝、初始化时对嵌入进行切片以及使用低秩嵌入）进行了压缩性能评估，发现嵌入可以压缩高达 96 倍，且性能下降较小，这意味着现代再识别方法并没有充分利用高维潜在空间，为进一步提升系统能力开辟了新的研究方向。

    May, 2024

  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 学习弹性嵌入用于定制设备推荐算法

    本研究提出了一种基于弹性嵌入的轻量级推荐算法，它允许在不重新训练的情况下自动适应任意设备特定的内存限制，并通过多样性驱动的规则化和性能估计法来获得更出色的性能表现。

    Jun, 2021