本文研究在推荐系统中使用连续表示的实体进行后训练四位量化，提出了基于行均匀量化和基于码本量化的量化方法，这些方法在减少精度降级方面均优于现有的量化方法，作者在 Facebook 的生产模型中应用了均匀量化技术并表明该技术可以将模型尺寸压缩到单精度版本的只有 13.89% 的大小，而模型质量保持不变。

Nov, 2019

通过神经网络进行嵌入表示学习是现代基于相似性的搜索的核心基础。该研究旨在直接学习可量化的嵌入表示和稀疏二进制哈希码，从而实现构建高效哈希表，提供显著的搜索数据减少和超越以往的度量学习方法的最新搜索准确性。

May, 2018

本文提出了四种连续和通用句子嵌入二值化方法，并评估了它们在多种下游任务中的表现，发现二值化句子嵌入相对于连续嵌入仅降低了约 2％的性能，同时减少了 98％的存储需求，而学习到的二进制表示形式可以通过简单计算其汉明距离来评估两个句子之间的语义相关性，这比计算连续嵌入之间的内积更加计算高效。

Jun, 2019

此论文研究了利用哈希机制来构建二进制嵌入的方法，该方法包括伪随机投影和非线性映射，使用结构化矩阵可以有效地压缩信息并降低随机性使用，实验证明了其对神经网络学习性能和最近邻分类器性能的依赖关系。

Nov, 2015

通过将图表数据的嵌入视为不同偏置下的独立硬币翻转，应用持续优化技术来获得二元向量的简单且有效模型，得出了优于谱图嵌入和各种学习实值嵌入的量化结果，可以显著降低图表数据检索的延迟。

Mar, 2018

该论文提出了一种使用少量基向量构建嵌入式编码、使用 Gumbel-softmax 技巧直接学习离散码表的自然语言处理模型压缩方法，并在情感分析和机器翻译任务中实现了 98% 的压缩率，从而达到在不影响性能的前提下减少内存占用的目的，该方法不需要改变网络结构且具有语言无关性。

Nov, 2017

这篇研究提出了 Homomorphic Projective Distillation（HPD）方法来学习压缩的句子嵌入，通过增加可学习的投影层来模拟大型预训练语言模型并保留句子表示质量。作者通过不同大小的模型对语义文本相似性（STS）和语义检索（SR）任务进行了评估，实验结果表明，相比于相同大小的最佳表示方法，该方法在 STS 任务上实现了 2.7-4.5 个性能提升，在 SR 任务上，该方法相比于最先进的大型模型，提高了检索速度（8.2 倍）和内存使用（8.0 倍）。

Mar, 2022

本文提出一种基于自编码器的方法将实值的词向量转化为二进制向量，从而在减小空间占用的同时只损失了 2% 的精度。实验结果表明，使用这些二进制向量比使用实值向量快 30 倍。

Mar, 2018

引入一种新的紧凑型神经网络结构，该结构使用联合优化框架进行训练，包括一个全训练神经网络和一个利用随机投影进行输入或中间表示转换的简单的 “投影” 网络。使用全网络来指导投影网络的训练。经过训练的小型网络可以用于低内存和计算成本的推理，并且在视觉识别和文本分类任务中保持良好的准确性。

Aug, 2017

本文提出了一种基于层次量化的高效嵌入表示方法来实现基于相似性搜索，不仅在搜索准确度方面取得了最新的成果，而且还显著提高了推理速度。

Feb, 2019