Aug, 2022

使用 Transformer 评估密集通道检索

PDF
TL;DR本文提出了一个用于衡量基于 Transformers 的检索模型的统一框架，该框架基于最佳实践和先前研究中的规范，并使用 MSMARCO 数据集的 dev 集合和 trec_eval 脚本来计算模型的主要指标 MRR@100，通过该框架可以更公平比较不同检索模型。
retrieval modelstransformersevaluation frameworkmsmarco datasetmrr@100
发现论文，激发创造
  • 基于伪相关反馈的多重表示密集检索

    本研究探讨了基于伪相关反馈的多重嵌入密集检索方法的潜力。通过从第一遍密集检索中确定的伪相关文件集中提取代表性反馈嵌入，然后将其添加到查询表示中，证明了这些附加反馈嵌入不仅能够提高重新排序的有效性，还能提高附加密集检索操作的效率。

    Jun, 2021

  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

    Apr, 2020

  • 预训练变形金刚在文本排名中的差异性如何？

    本研究分析了基于 BERT 的交叉编码器与传统 BM25 排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

    Apr, 2022

  • 训练多语言密集检索模型最佳实践

    本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

    Apr, 2022

  • 是否已经到达目的地？一种替换基于词项检索的密集检索系统的决策框架

    本论文提出具有一套标准的框架来比较两种检索系统，该框架以除了简单效果措施之外的标准来衡量，旨在评估一个系统取代另一个系统的准备情况。在 Web 排名方案中，最先进的 DR 模型不仅在平均性能方面表现出色，而且通过广泛的保护装置测试，在不同的查询特征，词汇匹配，一般化和回归数量方面展现了稳健性。

    Jun, 2022

  • 稠密通道检索器的复制研究

    本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • Aggretriever：一种用于稳健稠密段落检索的简单文本表示聚合方法

    本研究采用一种简单的方法，有效地将预训练转换器中的文本表示聚合成稠密向量，从而提高了在不同领域和零样本评估下单向量方法的鲁棒性，进而表明 MLM 预训练变形金刚可以用于将文本信息编码成单个向量以进行密集检索。

    Jul, 2022

  • 生成式检索在百万篇章上的可扩展性？

    本文对生成式检索技术进行了第一次经验研究，通过使用合成查询作为文档表示进行索引，以及调整内部架构，探索了在不同语料库规模下扩展生成式检索的几个关键点，发现在小规模语料库上生成式检索和最先进的双编码器具有竞争力，但在数百万篇章的大规模语料库上实现可扩展性仍然是一个重要的未解决问题。

    May, 2023

  • 一种针对信息检索的表征性方法的概念框架

    本文提出了一个概念框架来理解信息检索和自然语言处理中的最新发展，该框架试图将稠密和稀疏检索方法整合起来，并将文本检索问题分成逻辑评分模型和物理检索模型。作者提出度量器和比较函数，将查询和文档映射到表征空间，并计算查询 - 文档分数，同时分析了密集与稀疏表征和监督与无监督方法的影响。最后，作者提供了一个研究路线图，使得该框架更加清晰且提供未来工作的方向。

    Oct, 2021

  • 基于 Transformer 的大规模文章编码器在引文推荐任务上的评估

    本文评估了基于变换器的文章编码器（TAE）在更具挑战性的候选池中进行引文推荐任务的性能，并提出了一种新的基准数据集 Multi-Domain Citation Recommendation dataset（MDCR）。研究发现，与基于神经检索的最新技术相比，基于词汇检索的 BM25 仍具有非常有竞争力。

    Sep, 2022