CITADEL: 通过动态词汇路由的条件化令牌交互，实现高效和有效的多向量检索

Nov, 2022

CITADEL: 通过动态词汇路由的条件化令牌交互，实现高效和有效的多向量检索

CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval

Minghan Li, Sheng-Chieh Lin, Barlas Oguz, Asish Ghoshal, Jimmy Lin...

TL;DR本文从令牌路由视角统一不同的多向量检索模型，提出通过动态词汇路由的条件令牌交互，即 CITADEL，以实现高效且有效的多向量检索。通过将不同的令牌向量路由到预测的词汇 “关键词”，以便查询令牌向量只与路由到相同关键词的文档令牌向量进行交互，从而显著减少计算成本，同时保持高准确性。值得注意的是，CITADEL 在速度方面几乎快 40 倍，同时在领域内（MS MARCO）和领域外（BEIR）评估中均获得了与之前的最高水平 ColBERT-v2 相同或略好的性能。

Abstract

multi-vector retrieval methods combine the merits of sparse (e.g. BM25) and dense (e.g. DPR) retrievers and have achieved state-of-the-art performance on various retrieval tasks. These methods, however, are orders of magnitude slower and need much more space to store their indices comp

multi-vector retrieval sparse retrievers dense retrievers conditional token interaction efficient retrieval

发现论文，激发创造

重新思考多向量检索中令牌检索的作用

本文介绍了一种名为 XTR 的上下文化 Token 获取器，利用一个简单却新颖的目标函数，该目标函数鼓励模型首先检索最重要的文档 Token 来简化多向量检索的推理过程。在流行的 BEIR 基准测试中，XTR 在不进行任何蒸馏的情况下将 nDCG@10 的最高记录提高了 2.8，详细分析表明，相对于 ColBERT，XTR 在 Token 检索阶段具有更好的召回能力。

Apr, 2023

ColBERTv2: 通过轻量的后期交互实现有效和高效的检索

本研究介绍了 ColBERTv2，结合积极的残差压缩机制和去噪监督策略，以提高对最晚交互的质量和占用空间的同时评估了广泛的基准。

Dec, 2021

通过上下文化的后期交互提高神经重排器的超领域泛化能力

本文探讨了将后期交互用于神经重排器的有用性，以提高其在分布外数据集中的性能，该方法能带来额外的 5％改进，而无需增加太多的延迟和没有影响其在域内数据上的效果，通过实验和分析，发现这一结论与模型大小和不同类型的第一阶段检索器一致，并且这种改进在较长的查询上更为显著。

Feb, 2023

通过上下文化的精确术语匹配和高效的片段扩展实现快速通道重新排名

提出了一种名为 TILDEv2 的新模型，该模型基于原始的 TILDE，但解决了其局限性，采用扩展的句子进行上下文化精确术语匹配，并将所得分数存储在索引中，生成的索引不到 TILDE 索引的 1％，且提高排名效果 24％，不影响查询延迟。它是基于 CPU 的环境下维持低于 100ms 的查询延迟的最先进的语段重新排序方法。

Aug, 2021

将动态词典加入 BERT 用于序列标记

本文提出了 DyLex：一种适用于基于 BERT 的序列标注任务的插件词库融合方法，避免了大规模动态词库的噪声和更新问题，采用了无关单词的标签嵌入和监督词库去噪方法，并引入基于列的注意力机制来保证该框架的可插入性。实验结果表明，该框架即使与非常大的词库一起使用也实现了最新的 SOTA 效果。

Sep, 2021

你们的 Token 是什么？作为词汇分布的密集检索

本文研究了双编码器在稠密检索中的表征方式，并通过词汇分布提供了对其性能解释的见解。最后，我们提出了一种简单的方法，在推理时使用词汇信息来丰富查询和段落的表征，并表明这显著地提高了在跨领域设置下的性能。

Dec, 2022

可学习的后期交互的高效文档排序

提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

Jun, 2024

基于二进制符号索引的半参数检索

信息检索的研究领域逐渐扩大，从搜索服务发展为各种高级应用的关键组成部分。为了提高检索效率、成本效益和实时性，本文介绍了一种名为 Semi-parametric Vocabulary Disentangled Retrieval（SVDR）的新型半参数化检索框架。在三个开放域问答基准测试中，使用整个维基百科语料库进行评估，SVDR 始终显示出卓越性能。它使用基于嵌入的索引在 top-1 检索准确率上比基于嵌入的检索方法 DPR 高出 3％，使用基于二进制令牌的索引在 top-1 准确率上比 BM25 高出 9％。采用二进制令牌索引的方式将索引准备时间从 30 个 GPU 小时减少到仅需 2 个 CPU 小时，存储空间从 31 GB 减少到 2 GB，实现了 90％的降低，相较于基于嵌入的索引。

May, 2024

利用词汇资源学习多关系数据中实体嵌入

提出了一种使用词汇资源的描述和分布式语义语料的相关信息的简单方法，以更好地初始化关系模型的训练，在 WordNet 数据集上表现出了显着的最新性能。

May, 2016

引入 Neural Bag of Whole-Words with ColBERTer: 使用增强的 Reduction 进行上下文化的后期交互

本文提出了 ColBERTer，这是一个使用上下文化的 ColBERT 模型与增强的减少方法的神经检索模型。它采用了单向量检索、多向量细化和可选词汇匹配组件，其多向量组件通过学习每个文档中的项的唯一整词表示并学习识别和删除对于有效评分来说不必要的词表示，可以将文档的存储向量数量减少 2.5 倍。结果表明，ColBERTer 可以提高检索结果的可解释性，同时保持检索结果的有效性，并且具有多任务学习的特点。

Mar, 2022