本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

Sep, 2021

本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

Jul, 2021

本文研究在在线情况下是否可以从神经重排结果中有效地提取特定查询的模型，并发现在线提取的词汇模型能够在索引上有效地执行。通过识别在第一检索阶段被忽略的文档，第二检索阶段可以丰富重新排序文档的池。实证研究表明，这种方法与假反馈技术、密集检索方法和稀疏 - 密集集成方法相比，表现出优越性。

Jun, 2023

通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

May, 2024

研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

Mar, 2023

本文探索了一种替代方案，该方案涉及使用分布邻域明确推断未观察到的共现词，结果表明，分布推断在几个单词相似性基准测试中提高了稀疏的单词表示，并且我们的模型在可解释性的同时，在形容词 - 名词，名词 - 名词和动词 - 对象组合方面与最新技术保持竞争力。

Aug, 2016

本研究研究了 Dense Retrieval (DR) 模型训练中的不同采样策略，并解释了为何硬负采样优于随机采样。研究发现目前许多基于硬负采样的训练方法存在许多潜在风险，因此本文提出了 Stable Training Algorithm (STAR) 和 Query-side Training Algorithm for Directly Optimizing Ranking Performance (ADORE) 两种训练策略，并在两个公共检索基准数据集上进行了实验，结果表明这两种策略均取得了显著的改进，并且结合这两种策略可以达到最佳性能。

Apr, 2021

本研究探讨了如何通过有效验证缩小训练与检索之间的差距并提高稠密检索的性能，在密集短语检索中取得了 2~3 个关键短语检索准确度和 2~4 个段落检索准确度的提升。

Oct, 2022

我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

Oct, 2023

该论文使用一个概念框架将信息检索中的代表性学习的最新进展进行了组织，包括稀疏和密集表示、无监督和学习表示等四个维度。通过分析发现，COIL 和 DPR、ANCE、DeepCT、DeepImpact 之间的关系以及现有技术的不足之处，论文提出一种名为 uniCOIL 的新技术，并在 MS MARCO 排名数据集上取得了最先进的结果，具有可操作性。

Jun, 2021