Apr, 2024

AiSAQ:全存储 ANNS 与产品量化用于无 DRAM 信息检索

TL;DR本文提出了一种名为 All-in-Storage ANNS with Product Quantization (AiSAQ) 的方法,通过将压缩向量转移到存储器中,可以在十亿级别的数据集中实现约 10MB 的内存使用,同时还能减少查询之前的索引加载时间,增强检索辅助生成(RAG)的灵活性。该方法适用于所有基于图的近似最近邻搜索算法,未来还可以与更高规格的近似最近邻搜索方法相结合。