Aug, 2021

通过上下文化的精确术语匹配和高效的片段扩展实现快速通道重新排名

PDF
TL;DR提出了一种名为 TILDEv2 的新模型，该模型基于原始的 TILDE，但解决了其局限性，采用扩展的句子进行上下文化精确术语匹配，并将所得分数存储在索引中，生成的索引不到 TILDE 索引的 1％，且提高排名效果 24％，不影响查询延迟。它是基于 CPU 的环境下维持低于 100ms 的查询延迟的最先进的语段重新排序方法。
bert-based modelstildev2query latencycomputational resourcespassage re-ranking
发现论文，激发创造
  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • BERT-QE: 基于上下文的查询扩展用于文档重新排名

    本论文提供了一种使用 BERT 模型选择相关文档块进行扩展的新型查询扩展模型，能够在标准 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展方法引入不相关信息的问题。

    Sep, 2020

  • 可解释性与时间预算限制下的上下文重新排序

    提出了一种名为 TK（Transformer-Kernel）的神经再排序模型，利用一种高效的上下文化机制来进行广告搜索。在最大每次查询 200 毫秒的实际时间限制下，TK 比 BERT 和其他排序模型实现了最高的有效性，通过对 TK 的结果进行聚类查询分析，突出了它在具有不同信息需求类型的查询中的优势和劣势，并展示了通过比较两个文档的内部分数来解释排名差异的原因。

    Feb, 2020

  • ED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型

    提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

    Apr, 2022

  • 通过上下文重点预测实现扩展

    本文提出了一种通过基于上下文的语言模型来显式建模每个词汇的重要性、扩展查询方法以及基于词典对表示的理解性进行打分的 EPIC 方法，该方法在 MRR@10 上达到了 0.304，且能够显著提高检索效果和降低硬件的查询延迟。

    Apr, 2020

  • 基于 BERT 的段落检索和排名中处理打字错误的方法

    本文探讨了针对关键字错别字造成的关键字不匹配所产生的影响，针对这一问题，我们提出了简单而有效的错别字感知培训框架，实验证明该框架可以显著提高 DR 和 BERT Re-ranker 的有效性。

    Aug, 2021

  • TU Wien @ TREC Deep Learning '19 -- 用于重排的简单上下文化

    本文介绍了使用 Transformer-Kernel 模型进行文档重排序的方法，并通过 TREC 2019 深度学习赛道的评价来表明其有效性。

    Dec, 2019

  • 基于嵌入的零样本检索通过查询生成

    本文通过采用两塔架构来建立神经检索模型，并提出了一种新的用于检索的合成数据生成方法，显著优于基于词汇匹配算法的 BM25，并在 5 个测试数据集中平均提高 Recall@1 指标 2.45 个点。

    Sep, 2020

  • 信息检索的稀疏词法和扩展模型 SPLADE v2

    本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

    Sep, 2021