Jul, 2020

基于频率双哈希的推荐系统模型大小缩减

PDF
TL;DR本论文提出了一种混合哈希方法，将频率哈希和双哈希技术相结合用于模型大小降低，在两个产品表面上的实验结果表明，我们可以将模型大小降低约 90％，同时保持基线模型的性能。
deep neural networkssparse input featuresrecommender systemshashing methodmodel size reduction
发现论文，激发创造
  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019

  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015

  • 使用哈希技巧压缩神经网络

    本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

    Apr, 2015

  • 学习碰撞：使用学习的哈希函数进行推荐系统模型压缩

    本研究旨在改进深度推荐模型中嵌入表的巨大存储要求，提出了一种名为 Learned Hash Functions 的新方法，它从历史数据和嵌入访问模式中学习新的映射函数，并通过在语义上相似的 id 之间引入碰撞来减小嵌入表的大小，实验表明，该方法比散列技术和其他压缩技术都要更有效。

    Mar, 2022

  • 面向大型推荐系统嵌入的频率感知软件缓存

    本文提出了一种基于 GPU 的软件缓存方法来动态管理 DLRM 的 embedding table，通过利用目标数据集 id 的频率统计信息，在 GPU 和 CPU 内存空间之间进行管理，以此来使得在 GPU 上训练 DLRM 更为实用。同时，该方法也支持多 GPU 并行训练，通过实验证明，只在 GPU 上保留 1.5% 的 embedding 参数就能保障训练速度。

    Aug, 2022

  • 基于随机哈希的可扩展可持续深度学习

    提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。

    Feb, 2016

  • 数据规模和频率范围对分布语义模型的影响

    本研究旨在探究数据规模和频率范围对分布语义模型的影响。比较了几种代表性模型在不同规模的数据和各种不同频率的测试项下的性能表现。结果表明，当数据规模较小时，基于神经网络的模型表现不佳，而在各种规模和频率范围的数据下，可靠性最高的模型是倒置分解模型。

    Sep, 2016

  • 具有大输出空间的深度网络

    本文提出了一种快速局部敏感哈希技术以近似实际点积，使我们能够将训练和推理扩展到数百万个输出类，并在三个不同的大规模识别任务上验证了我们的方法，表明与基线方法相比，我们的方法能以更快的速度（以步骤 / 总时间为单位）训练大规模模型。

    Dec, 2014

  • 压缩神经网络的功能性哈希

    本文提出一种基于功能散列的新型结构 FunHashNN，通过利用多个低成本的散列函数获取压缩空间中的值，再使用小型重建网络恢复每个深层网络中的条目，从而高效地压缩深度神经网络，经实验证明，FunHashNN 在多个基准数据集上表现出较高的压缩比和准确率。

    May, 2016

  • 稀疏相似性保持哈希

    本研究提出使用 feed-forward 神经网络来实现稀疏高维哈希码，并且通过对视觉和多模态数据的实验评估表明该方法具有显著的优势。

    Dec, 2013