该研究介绍了使用 Lucene Java Framework 实现 BM25 和 BM25F 两种信息检索模型。BM25 适用于纯文本文件的检索，而 BM25F 适用于结构化文件。这两种模型广泛应用于国际信息检索领域，并在 TREC 比赛中表现出色。

Nov, 2009

通过学习增强和重新加权来改进 BM25 作为信息检索基线的性能，并发现在保留速度的同时改进了其性能。此外，还发现学习到的增强和重新加权可很好地传递到未见过的数据集。

May, 2023

本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

Jul, 2021

SPRINT 是一个基于 Pyserini 和 Lucene 的统一 Python 工具包，支持评估神经稀疏检索。通过在 BEIR 上建立强大且可复现的零样本稀疏检索基线，我们的结果表明 SPLADEv2 在所有神经稀疏检索器中取得了最佳的平均 0.470 nDCG@10 分数。

Jul, 2023

本文介绍了一种通过最大化 NRM 结果与稀疏检索系统结果集合之间的相似性生成等效查询的方法，以作为本地每个查询的解释。作者比较了该方法与现有方法，如基于 RM3 的查询扩展，并对检索有效性和每种方法生成的术语进行了对比。

Apr, 2023

SPLADE-v3 的最新版本引入了训练结构的变化，并呈现了一系列最新的模型。通过对超过 40 个查询集的元分析，与 BM25、SPLADE++ 以及重排序模型进行比较，展示了其有效性。 SPLADE-v3 进一步推动了 SPLADE 模型的极限：在 MS MARCO 开发集上获得超过 40 的 MRR@10，将 BEIR 基准测试的领域外结果提高了 2%。

Mar, 2024

介绍了一种称为 Salient Phrase Aware Retriever (SPAR) 的密集型检索器，在保留稀疏模型的词法匹配能力的同时，通过加入类似于稀疏模型的词汇模型 Lambda 来提高其检索性能。SPAR 在多个任务上表现出卓越性能，包括问答数据集，MS MARCO 段落检索以及 EntityQuestions 和 BEIR 评估。

Oct, 2021

本文介绍了一个名为 Pyserini 的 Python 工具包，支持信息检索、稀疏检索以及密集检索，并在两个流行的排名任务中验证了其有效性。

Feb, 2021

传统修剪方法在大型语言模型中的使用具有挑战性，因为训练过程代价高且计算需求大。我们首次引入隐藏状态特征的信息熵作为修剪度量设计，即 E-Sparse，以提高大型语言模型的 N:M 稀疏性准确性，并通过引入信息熵和几种创新技术来快速优化信息分布和应对 N:M 稀疏性对准确性的影响。E-Sparse 通过 FasterTransformer 实现为 Sparse-GEMM，并在 NVIDIA Ampere GPU 上运行。对 LLaMA 系列和 OPT 模型进行的广泛实验表明，E-Sparse 可以显著加速模型推理（高达 1.53 倍），并实现显著的内存节省（高达 43.52%），在可接受的准确性损失范围内。

Oct, 2023

我们介绍了一种名为 Q-Sparse 的简单而有效的方法，用于训练稀疏激活的大型语言模型（LLMs），可以在推理过程中带来显著的效率提升。

Jul, 2024