Apr, 2017

使用 Quick ADC 加速最近邻搜索

PDF
TL;DR本文提出了一种名为 Quick ADC 的新技术，通过利用当前 CPU 中可用的单指令多数据 (SIMD) 单元，实现了对 ADC 的 3-6 倍加速，并提出了两个关键算法修改，将 8 位子量化器替换为 4 位子量化器和定量化浮点距离。
nearest neighbor searchproduct quantizationasymmetric distance computationsimd unitsquick adc
发现论文，激发创造
  • 更快的 ADC: 利用 SIMD 解锁产品量化的潜力

    该研究提出了 Quicker ADC 算法，利用 SIMD 指令和不规则的产生量化器，实现了更高效的高维空间多媒体检索和最近邻搜索，且优于当前优化实现，并在 FAISS 上实现了开源分支。

    Dec, 2018

  • 在 GPU 上高效地进行大规模近似最近邻搜索

    本研究提出基于 Product Quantization 的两层向量量化树的 ANN 搜索新方法，在 GPU 实现方面取得了比 CPU 更高的性能表现，适用于视频中循环关闭等对时间敏感的高维问题。

    Feb, 2017

  • 提升双层产品量化在高维度亿级近似最近邻搜索中的效率

    本研究针对高维数据，提出了两种基于产品量化方法的最近邻搜索系统，并通过实验证明这些系统在检索效率与精度方面优于现有的系统。

    Apr, 2014

  • 最佳和近似最佳的自适应矢量量化

    量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

    Feb, 2024

  • AiSAQ：全存储 ANNS 与产品量化用于无 DRAM 信息检索

    本文提出了一种名为 All-in-Storage ANNS with Product Quantization (AiSAQ) 的方法，通过将压缩向量转移到存储器中，可以在十亿级别的数据集中实现约 10MB 的内存使用，同时还能减少查询之前的索引加载时间，增强检索辅助生成（RAG）的灵活性。该方法适用于所有基于图的近似最近邻搜索算法，未来还可以与更高规格的近似最近邻搜索方法相结合。

    Apr, 2024

  • 产品量化及其硬件加速

    本文研究了在 DNNs 中将传统的 MAC 操作替换为使用 product quantization 时的计算和内存占用情况，采用不同的 PQ 设置和训练方法，设计了第一个定制的硬件加速器来评估运行 PQ 模型的速度和效率，发现与高度优化的传统 DNN 加速器相比，PQ 配置能够使 ResNet20 的面积性能提高 40% 至 104%，且硬件性能优于近期的 PQ 解决方案 4 倍，只有 0.6% 的精度降低，为 PQ 模型的更广泛采用铺平了道路。

    May, 2023

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • 组合向量压缩的堆叠量化器

    本文介绍了一种新型的量化方法，采用分层结构的编码本，将向量压缩到二进制码中，相比 Product Quantization 和 Additive Quantization 方法减少了运行时间，并在 SIFT、GIST 描述符和基于卷积神经网络的新特征数据集上验证了其有效性。

    Nov, 2014

  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020

  • 超越产品量化：深度渐进量化用于图像检索

    该论文介绍了一种用于大规模图像检索的深度渐进量化模型，该模型学习逐步逼近视觉特征的量化码，并且可以同时训练不同码长的量化码，实现了优于现有技术的图像检索效果。

    Jun, 2019