Nov, 2019

范数显式量化：改进向量量化获得更佳内积搜索

PDF
TL;DR本文提出了一种基于范数误差和方向误差的定量化误差的新方法，指出在最大内积搜索（MIPS）中量化误差在范数方面的影响大于在方向上的影响，因此提出了内部明确的基于规范的矢量量化（NEQ）用于 MIPS。该方法可以明显减小需要搜索的大型数据集，同时提高 PQ，OPQ，RQ 和 AQ 等 VQ 技术的性能。
vector quantizationnorm-explicit quantizationinner product searchquantization errordata compression
发现论文，激发创造
  • 基于量化的快速内积搜索

    我们提出了一种基于量化的方法，用于快速近似最大内积搜索（MIPS），该方法利用一组通过最小化内积量化误差直接学习的码书对每个数据库向量在多个子空间上进行量化。通过子空间量化器的内积和来近似查询到数据库向量的内积。与最近提出的 LSH 方法不同，数据库向量和查询不需要在高维特征空间中进行扩展。我们还提供了所提出方法的理论分析，在较温和的假设下得出集中结果。此外，如果在训练时给出少量示例查询，则我们提出了修改的码书学习过程，可以进一步提高准确性。在包括来自深度神经网络的数据集在内的各种数据集上进行的实验结果表明，所提出的方法明显优于现有最先进的方法。

    Sep, 2015

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • 共同优化查询编码器和产品量化来提高检索性能

    本文介绍了一种名为 JPQ 的联合优化方法，该方法结合了查询编码和 Product Quantization，以实现高效的 Dense Retrieval，并在两个公开的评估基准测评中获得了显着的性能提升。

    Aug, 2021

  • 最佳和近似最佳的自适应矢量量化

    量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

    Feb, 2024

  • 组合向量压缩的堆叠量化器

    本文介绍了一种新型的量化方法，采用分层结构的编码本，将向量压缩到二进制码中，相比 Product Quantization 和 Additive Quantization 方法减少了运行时间，并在 SIFT、GIST 描述符和基于卷积神经网络的新特征数据集上验证了其有效性。

    Nov, 2014

  • 软凸量化：用凸优化重新审视向量量化

    通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

    Oct, 2023

  • 通过含蓄的神经网络码本进行残差量化

    QINCo 是一种神经网络 RQ 变体，它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书，实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。

    Jan, 2024

  • 压缩索引下的瞬间相似度搜索

    本文介绍了一种新的矢量压缩方法 LVQ，与基于图的索引优化技术相结合能够提高性能，降低内存占用率，在亿级矢量检索中优于目前的最佳解决方案，其中低内存区间性能提高 20.7 倍，内存占用下降 3 倍。

    Apr, 2023

  • 复合量化

    本文研究了一种用于近似最近邻搜索的紧凑编码方法，介绍了一种复合量化框架，其中包括使用不同字典中选定的若干元素的组合来准确近似 D 维向量，以此表示数据向量，实现准确搜索，从而实现距离计算成本从 O（D）降至 O（M）的近正交复合量化方法。

    Dec, 2017

  • 非线性向量变换编码

    本文研究了向量量化和标量量化在高清图像压缩方面的优劣，并提出了一种新的方案：通过非线性向量变换和多级量化战略解决了向量量化的复杂性问题，并采用基于熵的向量量化来确定量化边界，从而优化速度和性能。与现有的基于非线性变换编码的方法相比，该方法具有更好的速度和模型尺寸，研究结果表明该方法性能更佳。

    May, 2023