Mar, 2022

引入 Neural Bag of Whole-Words with ColBERTer: 使用增强的 Reduction 进行上下文化的后期交互

PDF
TL;DR本文提出了 ColBERTer，这是一个使用上下文化的 ColBERT 模型与增强的减少方法的神经检索模型。它采用了单向量检索、多向量细化和可选词汇匹配组件，其多向量组件通过学习每个文档中的项的唯一整词表示并学习识别和删除对于有效评分来说不必要的词表示，可以将文档的存储向量数量减少 2.5 倍。结果表明，ColBERTer 可以提高检索结果的可解释性，同时保持检索结果的有效性，并且具有多任务学习的特点。
发现论文，激发创造
  • ColBERTv2: 通过轻量的后期交互实现有效和高效的检索

    本研究介绍了 ColBERTv2，结合积极的残差压缩机制和去噪监督策略，以提高对最晚交互的质量和占用空间的同时评估了广泛的基准。

    Dec, 2021

  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • 通过上下文化的后期交互提高神经重排器的超领域泛化能力

    本文探讨了将后期交互用于神经重排器的有用性，以提高其在分布外数据集中的性能，该方法能带来额外的 5％改进，而无需增加太多的延迟和没有影响其在域内数据上的效果，通过实验和分析，发现这一结论与模型大小和不同类型的第一阶段检索器一致，并且这种改进在较长的查询上更为显著。

    Feb, 2023

  • ColBERT-XM: 零射多语信息检索的模块化多向量表示模型

    这项研究提出了一种新颖的模块化密集检索模型 ColBERT-XM，它通过学习单个高资源语言的丰富数据，并能够有效地零 - shot 转换到各种语言，从而消除了对特定语言的标记数据的需求。通过展示在零 - shot 场景中的娴熟表现，ColBERT-XM 标志着向更可持续和包容的检索系统的转变，实现了多种语言的有效信息获取。我们公开发布我们的代码和模型供社区使用。

    Feb, 2024

  • 重新思考多向量检索中令牌检索的作用

    本文介绍了一种名为 XTR 的上下文化 Token 获取器，利用一个简单却新颖的目标函数，该目标函数鼓励模型首先检索最重要的文档 Token 来简化多向量检索的推理过程。在流行的 BEIR 基准测试中，XTR 在不进行任何蒸馏的情况下将 nDCG@10 的最高记录提高了 2.8，详细分析表明，相对于 ColBERT，XTR 在 Token 检索阶段具有更好的召回能力。

    Apr, 2023

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • 建立跨语言密集检索模型的迁移学习方法

    本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

    Jan, 2022

  • RepBERT: 一阶段检索的上下文化文本嵌入

    使用 RepBERT 来进行文档和查询的表示，通过上下文嵌入的固定长度实现，使用嵌入的内积作为相关性分数，在 MS MARCO Passage Ranking 任务中，RepBERT 在所有初始检索技术中实现了最新的结果。

    Jun, 2020

  • 利用检索启发式方法进行 BERT 的诊断

    本文通过引入公理化数据集分析技术，研究了 BERT 模型在信息检索中的应用，并发现 BERT 模型在大规模语料库中并不遵循给定的检索启发式规则，但在性能上仍然优于传统的查询似然检索模型。

    Jan, 2022

  • BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

    本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

    Sep, 2021