Mar, 2022

学习碰撞：使用学习的哈希函数进行推荐系统模型压缩

PDF
TL;DR本研究旨在改进深度推荐模型中嵌入表的巨大存储要求，提出了一种名为 Learned Hash Functions 的新方法，它从历史数据和嵌入访问模式中学习新的映射函数，并通过在语义上相似的 id 之间引入碰撞来减小嵌入表的大小，实验表明，该方法比散列技术和其他压缩技术都要更有效。
deep recommendation modelsembedding tableshashinglearned hash functionscollisions
发现论文，激发创造
  • 学习将分类特征嵌入到推荐模型中，不需要使用表格

    本文提出了一种名为 Deep Hash Embedding（DHE）的替代嵌入框架，通过多重哈希函数和转换将特征值编码为唯一标识符向量，并将其应用于 DNN 生成嵌入，用于处理高基数特征和未知特征值等实际推荐系统中存在的挑战。实证结果表明，DHE 在模型大小更小的情况下实现了与标准的 one-hot 全嵌入相当的 AUC，为基于 DNN 的替代嵌入方案的设计提供了新思路。

    Oct, 2020

  • 利用互补划分的组合嵌入实现内存高效的推荐系统

    本篇论文提出了一种新的方法，通过利用分类集合的互补分区来减少嵌入大小，使每个类别有一个唯一的嵌入向量，从而在模型损失和准确性方面提高表现，并在保持参数数目下降的同时，相对于哈希技巧，减少嵌入表大小。

    Sep, 2019

  • 学习压缩嵌入，为设备内推理提供支持

    提出一种新型的多嵌入压缩方法 MEmCom，利用哈希和可训练权重分别构建两个嵌入表来同时实现对嵌入表的压缩和各实体对应独特嵌入的映射，该方法在多个问题类别上超过现有技术，并在压缩嵌入大小的同时实现与非压缩嵌入相近的区分能力。

    Mar, 2022

  • 稀疏相似性保持哈希

    本研究提出使用 feed-forward 神经网络来实现稀疏高维哈希码，并且通过对视觉和多模态数据的实验评估表明该方法具有显著的优势。

    Dec, 2013

  • 深度跨模态永生哈希

    本文提出了一种创新的深度生命周期跨模式哈希方法，通过直接训练增量数据以更新哈希函数，设计生命周期学习策略以代替重复训练哈希函数，引入多标签语义相似性来监督哈希方法学习，并在基准数据集上进行实验验证，结果显示，该方法具有相对于最新的交叉模型哈希法更好的性能和对连续新数据的快速适应性。

    Apr, 2023

  • 大规模多任务学习的特征散列

    本文研究哈希作为一种优秀的降维和实用的非参数估计策略，并提供特征哈希的指数尾部界限，证明随机子空间之间的交互在高概率下是可以忽略的。同时，展示了在多任务学习这一新应用场景中采用此方法的可行性。

    Feb, 2009

  • 基于频率双哈希的推荐系统模型大小缩减

    本论文提出了一种混合哈希方法，将频率哈希和双哈希技术相结合用于模型大小降低，在两个产品表面上的实验结果表明，我们可以将模型大小降低约 90％，同时保持基线模型的性能。

    Jul, 2020

  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019

  • 大规模可学习向量存储压缩的实验分析

    我们对嵌入向量的压缩进行了全面的比较分析和实验评估，引入了一个新的分类法，并开发了一个模块化基准测试框架，评估了 14 种代表性方法，从而为不同内存预算下的使用情形推荐了最佳方法。此外，我们的研究还揭示了当前方法的局限性，并提出了未来研究的潜在方向。

    Nov, 2023

  • 深度哈希：图像签名学习的联合方法

    本文提出一种新的算法，该算法同时执行特征工程和非线性监督哈希函数学习，使用预训练和指数哈希损失函数，实现了有效的梯度计算和传播，并在数个广泛使用的图像基准测试中实现了全面的定量评估。实验结果表明，我们的算法明显优于所有现有的最先进的竞争对手，特别是在 MNIST 数据集上实现了近乎完美的 0.99 和 CIFAR10 数据集上的 0.74 的新记录。

    Aug, 2016