MMAug, 2018

可重构倒排索引

PDF
TL;DR本文提出了一种可重构倒排索引（Rii）以解决近似最近邻搜索系统的两个重要问题：运行子集搜索困难和新项目增加后性能下降。基于标准 IVFADC 系统，Rii 设计了一种数据布局方法，使得项目被线性存储。由于线性布局，数据结构可以动态调整，维护系统的高速度。大量比较表明，Rii 与 Faiss 等最先进的系统相比具有可比较的性能。
approximate nearest neighbor searchreconfigurable inverted indexsubset searchperformance decrementdata layout
发现论文，激发创造
  • 重访用于亿级近似最近邻的倒排索引

    本文提出一种新的基于倒排索引的检索系统，相比于现有的基于多重索引的系统，在相同内存消耗和构建复杂度下，在十亿级深度描述符数据集上，取得了数倍于现有最先进方法的检索性能。

    Feb, 2018

  • 双相增强 IVFPQ 用于时间高效的 Ad-hoc 检索

    提出一种新的双相 IVFPQ 框架，结合了两种类型特征：潜在主题和显式术语，通过从深层语义模型中提炼知识来学习文档对不同 IVF 条目的成员资格，从而显著提高索引质量和检索准确性。

    Oct, 2022

  • 基于动态连续索引的快速 K 最近邻搜索

    提出一种新的无需数据空间分割的随机化算法来避免由于数据维度过高而导致的数据检索问题，并通过理论分析和实验结果来证明这种算法在数据近似性、速度和空间效率等方面优于传统的局部敏感哈希算法（LSH）

    Dec, 2015

  • 连续空间端到端检索

    通过培训简单的检索专用模型，并采用合适的模型架构，我们考虑了端到端的连续检索问题，并使用标准的近似最近邻搜索代替通常的离散倒排索引，仅依靠学习嵌入之间的距离。在两个相似问题检索任务上，我们在离散基线上实现了 8％和 26％（MAP）的提升，并讨论了检索系统评估的问题，并展示了如何修改现有的成对相似性数据集以实现此目的。

    Nov, 2018

  • 可更新的带精确定位的学习索引

    该论文提出了一种名为 LIPP 的学习索引框架，该框架在支持多种索引操作的基础上，通过适当扩展树结构和动态调整策略来解决了先前学习索引的更新操作存在的问题，实验评估证明其优于现有解决方案。

    Apr, 2021

  • 在十亿个向量中搜索：用源编码重新排序

    本文提出了一种在高维向量的压缩域内重新排列邻居猜想的方法，通过短量化码优化估算距离，以避免从磁盘中读取完整向量，实验证明该方法准确高效且占用较少内存。

    Feb, 2011

  • IncDSI: 增量更新文档检索

    Differentiable Search Index 是最近提出的一种用于文档检索的范例，通过将文档语料库的信息编码在神经网络的参数中，并直接将查询映射到相应的文档。本文提出了一种名为 IncDSI 的方法，可以在实时环境下添加文档（每个文档约 20-50ms），而无需对整个数据集或其部分进行重新训练。我们将文档添加视为一个约束优化问题，以最小程度地修改网络参数。尽管速度快了数个数量级，我们的方法与在整个数据集上重新训练模型的方法具有竞争力，并能够实时更新的文档检索系统的开发。IncDSI 的代码可在此 URL 获得。

    Jul, 2023

  • 基于优先的 DCI 的快速 k 近邻搜索

    该研究介绍了一种名为优先的动态连续索引（Prioritized DCI）的变体，用于 k 近邻搜索，并且相对于现有方法（如局部敏感哈希，LSH），优先 DCI 通过线性增加空间而不是查询时间的依赖来解决了维数灾难的问题，并在内在维数方面展现了显着的改进。

    Mar, 2017

  • 使用递归图双分法压缩图和索引

    本文研究图形重排序技术在图压缩和倒排索引中的应用，提出一种基于递归图二分的新的排序算法，并通过实验展示相较于现有启发式算法，该算法在压缩率上取得了显著的提升，同时实现简便，允许高效的并行和分布式实现。

    Feb, 2016

  • 通用且实用的调整方法用于现成的基于图的索引：UTokyo 团队 SISAP 索引挑战报告

    通过黑盒优化算法，本研究引入了一种方法来调整现成的基于图的索引的性能，重点关注向量的维度、数据库大小和图遍历的入口。我们将这种方法应用于 SISAP 2023 索引挑战的任务 A，在 10M 和 30M 轨道上获得了第二名，与蛮力方法相比，显著提高了性能。该研究为基于图的索引提供了一种普适的调整方法，并推广到更广泛的用途。

    Sep, 2023