Curator: 多租户矢量数据库的高效索引
本论文综述了现有的近似最近邻搜索算法,并按照基于哈希、基于树、基于图和基于量化的方法对这些研究进行了分类。此外,论文还提出了向量数据库面临的挑战,并探讨了将向量数据库与大型语言模型结合的新可能性。
Oct, 2023
研究一个索引架构,从统计信号处理和决策理论角度,存储和搜索高维向量数据库。该架构由多个内存单元组成,每个内存单元通过单个代表向量总结一部分数据库。和穷举搜索相比,我们的方法能够更快地找到相似的数据库向量,而不会显著降低搜索质量。
Dec, 2014
本文介绍了我们基于 Elasticsearch 构建的端到端内容基于图像检索系统。我们提出了一种将图像特征向量编码为字符串令牌的新方法,并使用 Elasticsearch 来检索相似图像,性能表现优异。此系统易于部署、分布、扩展和监控,支持视觉和文本信息联合检索。本文对实现 Elasticsearch 平台的一手经验进行了广泛的讨论,对于有兴趣在 Elasticsearch 上构建视觉搜索引擎的从业者应该具有价值。
Jun, 2018
本文介绍了一种名为 HQI 的系统,用于高吞吐量批处理混合查询,特别是在知识图谱中的向量相似度搜索。该系统使用一种基于负载的向量数据分区方案来量身定制向量索引布局,同时描述了一种多查询优化技术以减少向量相似度计算的开销。我们基于工业工作负载评估了 HQI 的方法,并证明与现有的混合查询处理方法相比,HQI 在查找相关 KG 查询方面的吞吐量提高了 31 倍。
Apr, 2023
LeanVec 是一个结合了线性降维和向量量化的框架,用于加速高维度向量的相似性搜索,并在维持准确度的同时提高性能。它提供了针对分布内和分布外查询的两个变体,能够产生与最新的深度学习替代方案相当的准确度,并在搜索吞吐量上提高了 3.7 倍,并比现有技术快 4.9 倍的索引构建时间。
Dec, 2023
VDMS 自动调优框架 VDTuner 利用多目标贝叶斯优化,能够高效探索复杂多维参数空间,并在搜索速度和召回率之间达到最佳配置,显著提高 VDMS 性能(搜索速度提高 14.12%,召回率提高 186.38%),相比于默认设置更加高效,优于最先进的基准测试(调优时间最多快 3.57 倍),并可扩展到特定用户偏好和成本感知优化目标。
Apr, 2024
在云原生环境中,为了实现向量和张量数据的高效存储,本文提出了一种在 Lakehouse 架构中使用 Delta Lake 进行张量存储的新方法,实验证明这种方法相较于传统的张量序列化,在空间和时间效率上都有显著的改进,为 AI 和 ML 领域中数据密集型应用的优化向量和张量存储解决方案的开发和实施提供了有价值的见解。
May, 2024
提出一种新的文档检索方法,通过赋予每个文档一个唯一标识符和使用密集矢量进行索引,以实现高效准确地检索问题答案所需的证据文档,适用于对话聊天机器人等情景。
Oct, 2022