本文旨在建立广泛的大规模波兰语信息检索资源，翻译所有可获得的开放式信息检索数据集并引入 BEIR-PL 基准测试，对其中的数据集进行评估和比较，以进行先进波兰语检索模型的进一步开发、训练和评估，并评估各种 IR 模型的性能，并训练了各种重新排序模型来增强 BM25 检索。

May, 2023

BEIR（Benchmarking-IR）是一个针对信息检索的鲁棒性和异质性评估基准，通过对 18 个公开数据集的评估，发现 BM25 是一个强大的基线，而后期交互和重新排名模型通常可以实现最佳零 - shot 表现，但计算代价高，与此相反，密集和稀疏检索模型的计算效率更高，但往往表现得不如其他方法，突显了它们的可扩展性有很大的改进空间。

Apr, 2021

本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

本研究基于 Transformer 模型提出了一个基于多任务的波兰语言解析的测试基准，并介绍了针对该语言的 Transformer 模型 HerBERT，该模型在 9 个任务中表现最好，其中包括命名实体识别和情感分析等多个领域。

May, 2020

本文介绍了近期基于 PLMs 的 dense retrieval 的相关研究进展，从架构、训练、索引、集成四个方面总结了主流技术，并提供了网站和代码库等丰富资源以支持读者的研究工作。

Nov, 2022

我们提出了一个信息检索任务的基准（BIRCO），它评估了信息检索系统在给定多方面用户目标的情况下检索文档的能力。该基准的复杂性和紧凑性使其适合评估基于大型语言模型（LLM）的信息检索系统。我们提出了一个模块化框架，用于研究可能影响 LLM 在检索任务上的性能的因素，并识别了一个简单的基准模型，它与现有方法和更复杂的替代方法相匹配或胜过。没有一种方法能够满足所有基准任务的性能要求，这表明需要更强大的模型和新的检索协议来满足复杂的用户需求。

Feb, 2024

该研究介绍了波兰大规模文本嵌入基准（PL-MTEB），它是一个包含 28 个不同自然语言处理任务的全面基准，涉及五种任务类型。研究人员通过波兰 NLP 社区先前使用的数据集对这些任务进行了适应。此外，研究人员创建了一个名为 PLSC（波兰科学图书馆语料库）的新数据集，其中包括波兰科学出版物的标题和摘要，用作两个新的聚类任务的基础。他们评估了 15 个可公开获取的文本嵌入模型，其中包括波兰语和多语言模型，并为每个任务类型和整个基准收集了详细结果。PL-MTEB 提供开源代码。

May, 2024

介绍了 Mr.TyDi - 一个包括 11 种不同语言、多语言检索基准数据集，旨在评估利用学习的密集表示进行排名的效果。通过提供多语言 DPR 等基线模型，实验结果表明，虽然效果比 BM25 模型要差，但密集表示仍然可以提供有价值的相关信号，可以用于在稀疏和密集模型之间建立混合模型，具有进一步的研究意义。

Aug, 2021

通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

May, 2024

本篇论文提出了一个新问题：多分布信息检索，介绍了三个基于问题回答和实体匹配的数据集来评估此任务的方法，并提供了简单的一些方法以解决已知领域占用大部分预算的问题，结果表明使用这些方法可以提高 Recall@100。

Jun, 2023