流式向量搜索的本地自适应量化

Feb, 2024

Locally-Adaptive Quantization for Streaming Vector Search

Cecilia Aguerrebere, Mark Hildebrand, Ishwar Singh Bhati, Theodore Willke, Mariano Tepper

TL;DR研究了向量嵌入、检索增强生成、流式相似性搜索、局部自适应向量量化和 Turbo LVQ，提出了两种改进的 LVQ 方法，通过高效地搜索性能提高了搜索效果，并通过 Scalable Vector Search 引入开源库提供工具。

Abstract

Retrieving the most similar vector embeddings to a given query among a massive collection of vectors has long been a key component of countless real-world applications. The recently introduced retrieval-augmented genera

vector embeddings retrieval-augmented generation streaming similarity search locally-adaptive vector quantization turbo lvq

发现论文，激发创造

压缩索引下的瞬间相似度搜索

本文介绍了一种新的矢量压缩方法 LVQ，与基于图的索引优化技术相结合能够提高性能，降低内存占用率，在亿级矢量检索中优于目前的最佳解决方案，其中低内存区间性能提高 20.7 倍，内存占用下降 3 倍。

Apr, 2023

SVQ: 稀疏向量量化用于时空预测

通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

Dec, 2023

最佳和近似最佳的自适应矢量量化

量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

Feb, 2024

LVQAC: 基于网格矢量量化和自适应空间压缩的高效学习图像压缩

本文提出了一种 Lattice Vector Quantization（LVQ）和空间自适应扩展（AC）相结合的新型映射策略，以取得更好的压缩效果，实验证明使用 LVQAC 可以在不显著增加模型复杂度的情况下，提高图像压缩性能。

Mar, 2023

LeanVec：通过使向量适应进行更快的搜索

LeanVec 是一个结合了线性降维和向量量化的框架，用于加速高维度向量的相似性搜索，并在维持准确度的同时提高性能。它提供了针对分布内和分布外查询的两个变体，能够产生与最新的深度学习替代方案相当的准确度，并在搜索吞吐量上提高了 3.7 倍，并比现有技术快 4.9 倍的索引构建时间。

Dec, 2023

学习向量量化分类器综述

本文综述了学习向量量化（LVQ）分类器的现状，并提出了一个分类法，集成了迄今最相关的 LVQ 方法。定义了与现代 LVQ 方法相关的主要概念，并使用一个真实世界和两个人工数据集比较了 11 种 LVQ 分类器。

Sep, 2015

高效交叉视角视频检索的混合对比量化方法

本研究提出了用于跨视图视频检索的混合对比量化（HCQ）方法，该方法通过引入 transformers 来学习粗粒度和细粒度量化，并在跨视图的多个细粒度层次上进行不对称量化对比学习（AQ-CL）以对齐文本和视频。 HCQ 方法在存储和计算方面表现出高效率，并展示了与最先进的非压缩检索方法相当的性能。

Feb, 2022

稀疏量化表示的近似搜索

本文提出了利用约束稀疏编码来近似存储大规模向量数据库，并实现高效检索的方法，可以在保证码本量的情况下，索引如 BIGANN 等大规模数据集，实现了学习 / 编码时间、索引大小、搜索质量等多种因素的平衡。

Aug, 2016

GPTVQ: LLM 量化的维度福祉

在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

Feb, 2024

Distill-VQ：通过密集嵌入提取知识进行检索导向量化

该论文提出了一种基于知识蒸馏框架的 Distill-VQ 算法，通过将密集的嵌入作为 “教师” 来预测查询与样本文档的相关性，并将 VQ 模块作为 “学生” 学习以复现预测的相关性，得出的检索结果可以完全保留密集嵌入的检索结果，从而使未标记的数据可以给出丰富的训练信号，无需标记数据的高质量向量量化，该算法在实践中具有很强的适用性。

Apr, 2022