本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

Jul, 2021

本文旨在通过引入上下文稀疏表示（Sparc）来改善每个短语嵌入的质量，借助修正的自注意力间接地学习 N-gram 词汇空间中的稀疏向量，通过将前一短语检索模型（Seo 等人，2019）与 Sparc 相结合，我们在 CuratedTREC 和 SQuAD-Open 中展示了 4% 以上的改进，其中我们的 CuratedTREC 得分甚至优于已知的检索和阅读模型，而推理速度至少快 45 倍。

Nov, 2019

研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

Mar, 2023

本文介绍了近期基于 PLMs 的 dense retrieval 的相关研究进展，从架构、训练、索引、集成四个方面总结了主流技术，并提供了网站和代码库等丰富资源以支持读者的研究工作。

Nov, 2022

本文通过引入稀疏表示的思想将 word embeddings 应用到 sentence embeddings 中，基于主题连贯性方法引入了一种新的、定量的自动化评估指标，并在电影对话数据集和 MS COCO 数据集的场景描述上观察到了 interpretability 的提高。

Sep, 2018

通过利用预训练语言模型 (PLMs) 对用户的长期参与历史进行编码，本研究引入了一个名为 SPAR 的基于内容的推荐框架，有效解决了从长期用户参与历史中提取整体用户兴趣的挑战，并通过利用大型语言模型 (LLM) 来提取全球兴趣，通过在会话级别上编码用户历史，实现了用户和物品特征的充分融合，从而在实际模型部署中既能有效预测用户参与，又能保持双方的独立表示，其在两个基准数据集上的广泛实验表明，超过了现有最先进的方法。

Feb, 2024

本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

Sep, 2021

本文提出了一种基于神经网络的分布式语义建模技术 SPT，通过自然语言文本中的术语自动提取和应用医学或应用于构建术语向量空间模型的基本实体，实现从分布式词表示向分布式术语表示的转换，从而提高传统本体论开发的准确性。

Mar, 2020

本文介绍了一种名为 VisualSparta 的基于稀疏变换匹配的 Transformer 模型，旨在实现跨模态信息检索领域中的文本检索图像任务，具有较高准确性和效率，可在大规模数据集中实现实时搜索。

Jan, 2021

通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

May, 2024