Feb, 2021

Pyserini：一个易于使用的 Python 工具包，支持使用稀疏和稠密表示进行可复制的信息检索研究

PDF
TL;DR本文介绍了一个名为 Pyserini 的 Python 工具包，支持信息检索、稀疏检索以及密集检索，并在两个流行的排名任务中验证了其有效性。
information retrievalpython toolkitssparse retrievaldense retrievalhybrid retrieval
发现论文，激发创造
  • 使用 Pyserini 和 Hugging Face 打造即插即用的搜索引擎 Spacerini

    Spacerini 旨在为大规模研究数据集的定性分析提供便利，合并了 Pyserini 工具包和 Hugging Face 生态系统的功能，使得通过易于使用的用户界面以非编码方式搜索大量数据集变得广泛可用。

    Feb, 2023

  • 使用 PyTerrier 进行信息检索的声明性实验

    本研究提出了一个名为 PyTerrier 的框架，它利用深度机器学习技术如 Tensorflow 和 Pytorch，并采用类似于它们的声明式语言，实现信息检索系统高效检索管道的自动化优化。在 TREC Robust 和 ClueWeb09 测试集上的测试结果表明，PyTerrier 可以提高检索效率。

    Jul, 2020

  • SPRINT：零射懿蜷神经稀疏检索的统一工具包

    SPRINT 是一个基于 Pyserini 和 Lucene 的统一 Python 工具包，支持评估神经稀疏检索。通过在 BEIR 上建立强大且可复现的零样本稀疏检索基线，我们的结果表明 SPLADEv2 在所有神经稀疏检索器中取得了最佳的平均 0.470 nDCG@10 分数。

    Jul, 2023

  • GAIA 搜索: Hugging Face 与 Pyserini 的自然语言处理训练数据探索互操作性

    本篇论文提出使用信息检索领域的成熟和经过多次测试的方法来对现代 NLP 的大规模文本语料库进行快速和用户友好的质性分析，提出了 GAIA Search 作为一个在 NLP 数据质量分析中既可以作为原型工具又可以作为独立的定性分析工具的搜索引擎示例。

    Jun, 2023

  • 跨语言信息检索的简洁有效神经排序和重排序基线

    该研究旨在提供一种用于跨语言检索模型的组织框架，并在 TREC 2022 NeuCLIR 中的三种语言测试集上实现基于此的可重复现的基准线。

    Apr, 2023

  • 测量运行时间！扩展 IR 可重复性基础设施以包括性能方面

    本文介绍了一种基于 Docker 的可重复性基础设施，旨在帮助神经信息检索领域更好地解决编码模型、网络架构、硬件加速等多种因素对性能和效果的权衡，并提出了两个基于性能的评价场景。

    Jul, 2019

  • WIKIR: 基于维基百科构建大规模英语信息检索数据集的 Python 工具包

    本文提出了一种基于 Wikipedia 的开源工具 WIKIR 来自动构建大规模英文信息检索数据集，提供了 wikIR78k 和 wikIRS78k 两种共 78628 个查询和 3060191 个 (query,relevant documents) 匹配数据的公开数据集，以解决当前深度学习方法在小数据集上表现不佳并难以进行学术研究问题。

    Dec, 2019

  • 稠密通道检索器的复制研究

    本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • py-irt: 一款可扩展的 Python 项目反应理论库

    py-irt 是一个 Python 库，用于拟合贝叶斯项目反应理论（IRT）模型，运用在 IRT 任务和理想点模型中，建立在 Pyro 和 PyTorch 框架之上，并使用 GPU 加速训练来扩展到大型数据集。

    Mar, 2022

  • BEIR: 一个用于零样本评估信息检索模型的异构基准

    BEIR（Benchmarking-IR）是一个针对信息检索的鲁棒性和异质性评估基准，通过对 18 个公开数据集的评估，发现 BM25 是一个强大的基线，而后期交互和重新排名模型通常可以实现最佳零 - shot 表现，但计算代价高，与此相反，密集和稀疏检索模型的计算效率更高，但往往表现得不如其他方法，突显了它们的可扩展性有很大的改进空间。

    Apr, 2021