ACLDec, 2021

ColBERTv2: 通过轻量的后期交互实现有效和高效的检索

PDF
TL;DR本研究介绍了 ColBERTv2，结合积极的残差压缩机制和去噪监督策略，以提高对最晚交互的质量和占用空间的同时评估了广泛的基准。
neural information retrievallate interaction modelscolbertv2relevance modelingspace footprint
发现论文，激发创造
  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • 引入 Neural Bag of Whole-Words with ColBERTer: 使用增强的 Reduction 进行上下文化的后期交互

    本文提出了 ColBERTer，这是一个使用上下文化的 ColBERT 模型与增强的减少方法的神经检索模型。它采用了单向量检索、多向量细化和可选词汇匹配组件，其多向量组件通过学习每个文档中的项的唯一整词表示并学习识别和删除对于有效评分来说不必要的词表示，可以将文档的存储向量数量减少 2.5 倍。结果表明，ColBERTer 可以提高检索结果的可解释性，同时保持检索结果的有效性，并且具有多任务学习的特点。

    Mar, 2022

  • 通过上下文化的后期交互提高神经重排器的超领域泛化能力

    本文探讨了将后期交互用于神经重排器的有用性，以提高其在分布外数据集中的性能，该方法能带来额外的 5％改进，而无需增加太多的延迟和没有影响其在域内数据上的效果，通过实验和分析，发现这一结论与模型大小和不同类型的第一阶段检索器一致，并且这种改进在较长的查询上更为显著。

    Feb, 2023

  • TwinBERT: 双向结构 BERT 模型的知识蒸馏以实现高效检索

    TwinBERT 模型可用于低延时 IR 系统中进行有效且高效的召回，通过将查询和文档的嵌入交叉组合来生成相似性分数，并且可以预先计算文档嵌入并将其缓存在内存中，从而显着提高了处理效率。

    Feb, 2020

  • 可学习的后期交互的高效文档排序

    提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

    Jun, 2024

  • ColBERT-XM: 零射多语信息检索的模块化多向量表示模型

    这项研究提出了一种新颖的模块化密集检索模型 ColBERT-XM，它通过学习单个高资源语言的丰富数据，并能够有效地零 - shot 转换到各种语言，从而消除了对特定语言的标记数据的需求。通过展示在零 - shot 场景中的娴熟表现，ColBERT-XM 标志着向更可持续和包容的检索系统的转变，实现了多种语言的有效信息获取。我们公开发布我们的代码和模型供社区使用。

    Feb, 2024

  • 建立跨语言密集检索模型的迁移学习方法

    本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

    Jan, 2022

  • 使用紧密耦合的教师将密集表示提炼为排名

    通过知识蒸馏，将 ColBERT 中用于计算相关性分数的 MaxSim 操作的知识提取出来，应用于密集表示的排名方法中，从而提高了查询延迟并减少了 ColBERT 的存储开销。同时，将我们的密集表示与从文档扩展中导出的稀疏表示相结合，可以接近标准的基于 BERT 的交叉编码排序器的效果。

    Oct, 2020

  • PLAID 的可重复性研究

    PLAID 算法与重新排名方法在检索引擎的效率和效果之间存在竞争性权衡，本研究强调在评估检索引擎效率时，需精心选择相关的基线方法。

    Apr, 2024

  • JaColBERT 和 Hard Negatives：更好的检索性日语优先嵌入

    JaColBERT, a document retrieval model specifically designed for Japanese, outperforms previous monolingual retrieval approaches and competes with multilingual methods, demonstrating great promise in supporting retrieval-enhanced application pipelines.

    Dec, 2023