Nov, 2019

嵌入表格的训练后 4 位量化

PDF
TL;DR本文研究在推荐系统中使用连续表示的实体进行后训练四位量化，提出了基于行均匀量化和基于码本量化的量化方法，这些方法在减少精度降级方面均优于现有的量化方法，作者在 Facebook 的生产模型中应用了均匀量化技术并表明该技术可以将模型尺寸压缩到单精度版本的只有 13.89% 的大小，而模型质量保持不变。
continuous representationrecommender systemquantizationcodebook-based quantizationmodel compression
发现论文，激发创造
  • 为推荐系统学习大词汇类别特征的多粒度量化嵌入

    本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

    Feb, 2020

  • 可定量表达的高效端到端学习

    通过神经网络进行嵌入表示学习是现代基于相似性的搜索的核心基础。该研究旨在直接学习可量化的嵌入表示和稀疏二进制哈希码，从而实现构建高效哈希表，提供显著的搜索数据减少和超越以往的度量学习方法的最新搜索准确性。

    May, 2018

  • 使用缓存的混合精度嵌入

    该研究介绍了一种新的嵌入式表（embedding table）缓存内存架构及其优化，该架构主要针对推荐系统中的大规模模型训练，通过低精度训练大部分嵌入式表行数据，实现与标准训练精度下相同准确率的情况下，INT8 位精度嵌入式表与缓存大小仅为嵌入式表大小的 5%，最终实现达到 3 倍的减存储效果，并在 GPU 与主机间的数据传输方面达到了 16% 的训练加速。

    Oct, 2020

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • 可微分乘积量化用于端到端嵌入压缩

    本文提出了可最小化储存空间的不同产品量化的压缩框架（DPQ），可以作为任何现有嵌入层的替代品，且降低了 14-238 倍的压缩率，以及在三个不同语言任务的 10 个数据集上表现良好。

    Aug, 2019

  • 重新发现使用哈希随机投影以高效量化上下文化句子嵌入

    本研究提出了一种利用随机超平面投影和量化技术，减小预处理数据的存储和带宽需求，从而使得边缘设备可以高效地进行推理和训练，并且在多语言句子分类任务中保持了良好的性能。

    Mar, 2023

  • 面向 CTR 预测的自适应低精度嵌入训练

    通过低精度训练和自适应的低精度训练方法，成功地压缩了 CTR 预测模型中的 embedding tables，并在不损失预测准确性的情况下实现了 8 位 embedding tables 的训练。

    Dec, 2022

  • 理解和克服高效 Transformer 量化的挑战

    本文探讨了 Transformer 模型的量化问题，并给出了三种解决方法，其中一种基于 embedding group 的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在 GLUE 基准测试中使用 BERT，我们准确评估了这些方法的有效性，并提出了一种新的超低比特宽度的 transformer 权重和 embedding 的量化方法，以实现更大的内存节省。

    Sep, 2021

  • 面向设备的神经机器翻译的极低比特 Transformer 量化

    本研究提出一种混合精度量化策略，将 Transformer 权重表示为极低位数（例如小于 3 位），该压缩策略使得在设备上实现高效的神经机器翻译变得可行，实现了模型大小 11.8 倍的减小，内存占用减少 8.3 倍，速度提高 3.5 倍，同时 BLEU 低于 - 0.5。

    Sep, 2020

  • 图的伯努利嵌入

    通过将图表数据的嵌入视为不同偏置下的独立硬币翻转，应用持续优化技术来获得二元向量的简单且有效模型，得出了优于谱图嵌入和各种学习实值嵌入的量化结果，可以显著降低图表数据检索的延迟。

    Mar, 2018