ACLOct, 2020

CoRT: 基于 Transformer 的互补排名

PDF
TL;DR本论文提出了一种简单的神经第一阶段排序模型 CoRT，通过利用预训练语言模型（如 BERT）的上下文表示来补充基于术语的排名函数，从而在不影响查询时间的情况下提高候选集的召回率。使用 MS MARCO 数据集，展示了 CoRT 能够显著提高候选集的召回率，从而使得后续的重新排名器可以通过更少的候选集获得更好的结果。此外，我们还展示了使用 CoRT 进行段落检索具有惊人的低延迟。
neural information retrievalmulti-stage ranking pipelinecortpretrained language modelsms marco dataset
发现论文，激发创造
  • RepBERT: 一阶段检索的上下文化文本嵌入

    使用 RepBERT 来进行文档和查询的表示，通过上下文嵌入的固定长度实现，使用嵌入的内积作为相关性分数，在 MS MARCO Passage Ranking 任务中，RepBERT 在所有初始检索技术中实现了最新的结果。

    Jun, 2020

  • 使用 TF-Ranking 中的 BERT 进行排序学习

    该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

    Apr, 2020

  • 预训练变形金刚在文本排名中的差异性如何？

    本研究分析了基于 BERT 的交叉编码器与传统 BM25 排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

    Apr, 2022

  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 知识密集型多步问题的交错检索与思维链推理

    提出了 IRCoT 方法，在多步 QA 过程中使用检索和 CoT 交替进行，同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上，使用 IRCoT 方法取得了显著的检索和 QA 性能改进，即便是在小型模型 T5-Flan-large（0.7B）上也能奏效。

    Dec, 2022

  • 建立跨语言密集检索模型的迁移学习方法

    本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

    Jan, 2022

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 多阶段检索管道中 BERT 重新排序器的训练思考

    本文提出了一种名为局部对比估计的方法，用于训练基于深度先前训练的语言模型的重排器，以实现更好的文本检索性能，实验证明本方法显著优于现有的基于深度两阶段模型。

    Jan, 2021