ACLApr, 2021

COIL: 重新审视基于上下文反向列表的信息检索中的精确词汇匹配

PDF
TL;DR本文介绍了 COIL，一种基于上下文的精确匹配检索架构，利用上下文表示来评分，以实现语义的词汇匹配。 COIL 在实验结果中表现优于经典的词汇检索器和最先进的深度 LM 检索器，具有相似或更小的延迟。
information retrieval systemsneural ir modelscoilcontextualized representationsdeep language models
发现论文，激发创造
  • 神经信息检索中的词汇匹配研究

    本文研究了神经信息检索模型在词汇匹配方面的能力，提出了与 “理想” 匹配性的不一致度量，并研究了不同的最先进的神经信息检索模型的行为。结果表明，这些模型在对于重要术语时无法实现词汇匹配，从而在跨领域检索上表现不佳。

    Dec, 2021

  • 关于 DeepImpact、COIL 和信息检索技术的概念框架的简要注释

    该论文使用一个概念框架将信息检索中的代表性学习的最新进展进行了组织，包括稀疏和密集表示、无监督和学习表示等四个维度。通过分析发现，COIL 和 DPR、ANCE、DeepCT、DeepImpact 之间的关系以及现有技术的不足之处，论文提出一种名为 uniCOIL 的新技术，并在 MS MARCO 排名数据集上取得了最先进的结果，具有可操作性。

    Jun, 2021

  • 上下文中的词汇推断语言模型

    该研究利用基于预训练语言模型的方法探究了语义词汇判断任务，并通过构建几个模型在该任务上取得了新的最优结果。

    Feb, 2021

  • 语料库结构、语言模型和即席信息检索

    本文提出了一种基于语言模型的信息检索算法框架的新方法，并将类似文档群的信息整合进去以提高检索效果；实验结果表明，即使是此新方法中的较简单算法也能优于标准语言模型方法，并且我们的新插值算法在所有测试语料库中均能显著提高精度和召回率表现。

    May, 2004

  • 博士 ICL: 演示检索上下文学习

    本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

    May, 2023

  • 利用语义和词汇匹配提高文档检索系统召回率：一种混合方法

    本文研究将深度神经网络模型与词汇模型相结合应用于搜索引擎的检索阶段，并在 TREC 数据集上进行了实证研究，结果表明该方法得到了很好的效果，并揭示了语义方法、词汇方法以及二者结合的不同特点。

    Oct, 2020

  • SPLADE: 用于第一阶段排序的稀疏词汇和扩展模型

    本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

    Jul, 2021

  • 利用长短时记忆进行信息检索的语义建模

    我们使用长短时记忆（LSTM）来捕捉上下文依赖关系，以解决信息检索中的词汇不匹配和长期上下文建模问题，从而显着优于现有的网络文档检索方法。

    Dec, 2014

  • 通过上下文化的精确术语匹配和高效的片段扩展实现快速通道重新排名

    提出了一种名为 TILDEv2 的新模型，该模型基于原始的 TILDE，但解决了其局限性，采用扩展的句子进行上下文化精确术语匹配，并将所得分数存储在索引中，生成的索引不到 TILDE 索引的 1％，且提高排名效果 24％，不影响查询延迟。它是基于 CPU 的环境下维持低于 100ms 的查询延迟的最先进的语段重新排序方法。

    Aug, 2021

  • 高效非自回归解码器词汇检索指数

    通过使用新型 scoring function 和结合 BM25 retriever 的方式，本研究证明可以使用传统 CPU 有效地构建文档排名。同时，NAIL 成为了一种可以利用预训练模型的、适用于构建文档表示的新型模型架构。

    May, 2023