MMSep, 2017

基于产品量化码的亿级别聚类算法 (PQk-means)

PDF
TL;DR本文研究针对大规模数据的聚类问题，提出一种基于短 PQ 码的高效聚类方法 PQk-means，能在低内存消耗下进行高维度向量的聚类，并在实验上获得了较好的结果。
data clusteringk-means clusteringpqk-meansmemory efficiencyhigh-dimensional vectors
发现论文，激发创造
  • 优化的 Cartesian K-Means

    本文提出了 Optimized Cartesian $K$-Means（OCKM）方法，用于对高维数据进行编码以实现更准确的最近邻搜索，通过多个子码本中的多个子码字进行编码以提供更大的灵活性和更低的失真误差

    May, 2014

  • 超越产品量化：深度渐进量化用于图像检索

    该论文介绍了一种用于大规模图像检索的深度渐进量化模型，该模型学习逐步逼近视觉特征的量化码，并且可以同时训练不同码长的量化码，实现了优于现有技术的图像检索效果。

    Jun, 2019

  • PQTable: 使用哈希表进行产品量化码的非穷举快速搜索

    本文提出了一种 PQTable 搜索方法，通过哈希表实现对 product-quantized codes 的快速搜索，相比线性 PQ 扫描可快 100 倍至 10 万倍，具高度的内存使用效率，无需手动设计参数设置和重要训练，从而成为一种实用和有效的方案。

    Apr, 2017

  • 你知道什么是 q-means 吗？

    改进版的 q-means 量子算法和 dequantized 算法，分别以 O ((k^2)/(ε^2)(√k*d + log (Nd))) 和 O ((k^2)/(ε^2)(kd + log (Nd))) 的时间复杂度在近似 k-means 聚类中取得优化，其中 k 代表簇数量，ε 代表误差率，N 代表向量数量，d 代表向量维度。

    Aug, 2023

  • 在十亿个向量中搜索：用源编码重新排序

    本文提出了一种在高维向量的压缩域内重新排列邻居猜想的方法，通过短量化码优化估算距离，以避免从磁盘中读取完整向量，实验证明该方法准确高效且占用较少内存。

    Feb, 2011

  • 提升双层产品量化在高维度亿级近似最近邻搜索中的效率

    本研究针对高维数据，提出了两种基于产品量化方法的最近邻搜索系统，并通过实验证明这些系统在检索效率与精度方面优于现有的系统。

    Apr, 2014

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • q-means：一种用于无监督机器学习的量子算法

    本研究介绍了 q-means 算法，一种用于聚类的新型量子算法，该算法具有与 $k$-means 类似的收敛性和精度保证，并且输出 $k$ 个集群中心的好近似值。此算法的运行时间呈多项式级别，优于经典算法，尤其适用于大型数据集。

    Dec, 2018

  • 多义码

    该论文考虑了压缩域中的近似最近邻搜索问题，引入了一种叫做 “多义编码” 的方法，在保持了产品量化的距离估算质量和二进制码哈明距离的有效比较性质基础上进行设计，并通过在搜索时二者的双重解释加速了搜索。实验证明，该方法与粗粒度的特征空间分割方法是相辅相成的，并在几个公共基准数据集上得到了最新的结果。

    Sep, 2016

  • 共同优化查询编码器和产品量化来提高检索性能

    本文介绍了一种名为 JPQ 的联合优化方法，该方法结合了查询编码和 Product Quantization，以实现高效的 Dense Retrieval，并在两个公开的评估基准测评中获得了显着的性能提升。

    Aug, 2021