该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

May, 2020

通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

May, 2024

本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

Jul, 2021

通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

Jan, 2022

提出一种将词向量转换成稀疏（可选二进制）向量的方法，使得词向量更接近于自然语言处理中常用的可解释特征，但这些特征是从原始语料库中自动发现的，并且在基准任务上优于原始向量。

Jun, 2015

本文旨在通过引入上下文稀疏表示（Sparc）来改善每个短语嵌入的质量，借助修正的自注意力间接地学习 N-gram 词汇空间中的稀疏向量，通过将前一短语检索模型（Seo 等人，2019）与 Sparc 相结合，我们在 CuratedTREC 和 SQuAD-Open 中展示了 4% 以上的改进，其中我们的 CuratedTREC 得分甚至优于已知的检索和阅读模型，而推理速度至少快 45 倍。

Nov, 2019

研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

Mar, 2023

本文提出了一个概念框架来理解信息检索和自然语言处理中的最新发展，该框架试图将稠密和稀疏检索方法整合起来，并将文本检索问题分成逻辑评分模型和物理检索模型。作者提出度量器和比较函数，将查询和文档映射到表征空间，并计算查询 - 文档分数，同时分析了密集与稀疏表征和监督与无监督方法的影响。最后，作者提供了一个研究路线图，使得该框架更加清晰且提供未来工作的方向。

Oct, 2021

本论文提出了一种基于聚类的检索模型，通过迭代聚类过程来模拟查询，并将文档表示为多个伪查询，通过两步得分计算程序优化匹配函数，实现了高效的近似最近邻搜索，达到了最先进的结果。

May, 2021

通过神经网络进行嵌入表示学习是现代基于相似性的搜索的核心基础。该研究旨在直接学习可量化的嵌入表示和稀疏二进制哈希码，从而实现构建高效哈希表，提供显著的搜索数据减少和超越以往的度量学习方法的最新搜索准确性。

May, 2018