SIGIRJul, 2023

SPRINT：零射懿蜷神经稀疏检索的统一工具包

PDF
TL;DRSPRINT 是一个基于 Pyserini 和 Lucene 的统一 Python 工具包，支持评估神经稀疏检索。通过在 BEIR 上建立强大且可复现的零样本稀疏检索基线，我们的结果表明 SPLADEv2 在所有神经稀疏检索器中取得了最佳的平均 0.470 nDCG@10 分数。
sparse retrieval systemspre-trained transformer modelsneural sparse retrievalzero-shot retrieval taskssprint toolkit
发现论文，激发创造
  • 信息检索的稀疏词法和扩展模型 SPLADE v2

    本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

    Sep, 2021

  • 零样本稠密检索的全面探讨

    本文通过第一次全面细致的研究，发现了与源数据集相关的关键因素、目标数据集的潜在偏差和现有零样本 DR 模型，从而提供了关于零样本 DR 模型的更好的理解和发展的重要证据。

    Apr, 2022

  • SPARTA: 基于稀疏变换器匹配检索的高效开域问答

    SPARTA 是一种新颖的神经检索方法，其学习稀疏表示，可高效地实现反向索引进行可扩展的神经检索，通过在英语和中文数据集的各种开放域问答任务中实现先进的结果，同时具有人类可解释的表征和对性能和效率之间权衡的灵活控制。

    Sep, 2020

  • SPLADE: 用于第一阶段排序的稀疏词汇和扩展模型

    本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

    Jul, 2021

  • BEIR: 一个用于零样本评估信息检索模型的异构基准

    BEIR（Benchmarking-IR）是一个针对信息检索的鲁棒性和异质性评估基准，通过对 18 个公开数据集的评估，发现 BM25 是一个强大的基线，而后期交互和重新排名模型通常可以实现最佳零 - shot 表现，但计算代价高，与此相反，密集和稀疏检索模型的计算效率更高，但往往表现得不如其他方法，突显了它们的可扩展性有很大的改进空间。

    Apr, 2021

  • 上下文化稀疏表示法用于实时开放域问答

    本文旨在通过引入上下文稀疏表示（Sparc）来改善每个短语嵌入的质量，借助修正的自注意力间接地学习 N-gram 词汇空间中的稀疏向量，通过将前一短语检索模型（Seo 等人，2019）与 Sparc 相结合，我们在 CuratedTREC 和 SQuAD-Open 中展示了 4% 以上的改进，其中我们的 CuratedTREC 得分甚至优于已知的检索和阅读模型，而推理速度至少快 45 倍。

    Nov, 2019

  • 重新审视稀疏检索用于少样本实体链接

    通过稀疏检索方法和基于 ELECTRA 的关键词提取器，提出了一种改进的实体链接方法以精确连接知识库中的模糊提及，对于限定领域的有限标注数据，实验证明该方法在 ZESHEL 数据集上明显优于现有模型，在所有测试领域中表现出关键词增强稀疏检索的有效性。

    Oct, 2023

  • 密集稀疏检索：使用稀疏语言模型进行推理高效密集检索

    研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

    Mar, 2023

  • 从蒸馏到硬负采样：使稀疏神经 IR 模型更加有效

    本文研究基于稀疏表达的 SPLADE 检索器的训练提升方法，结合蒸馏、硬负例挖掘以及预训练语言模型初始化，证明其在效率和效果方面同样具有优势，能够在领域内和零样本情况下实现最先进的结果。

    May, 2022

  • SparTerm：学习基于词项的稀疏表示以实现快速文本检索

    本文提出了一种名为 SparTerm 的框架，旨在将预训练语言模型的深度知识转移至基于词袋法的稀疏表示，以提高其语义级匹配的表达能力，同时保持其效率、可解释性和准确性，并在 MSMARCO 数据集上获得了 state of the art 的排名性能。

    Oct, 2020