密集检索:我们应该使用什么检索粒度?
通过研究密集短语检索系统,探讨短语检索是否可以作为粗粒度检索(如段落和文档)的基础,并提出了短语过滤和矢量量化等方法,可以将检索索引的大小减小至原来的 4-10 倍,从而使得密集短语检索成为多粒度检索的实用解决方案。
Sep, 2021
本研究展示了如何使用密集向量表示实现开放领域的问答,通过一个简单的双编码框架,通过从一小部分问题和段落中学习嵌入来实现检索,并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法,为终端 QA 系统的最新性能奠定了基础。
Apr, 2020
本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型(DPR)进行了复制研究,其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术,使用与原论文相同的模型获得更好的端到端问题答案准确性。
Apr, 2021
本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题,并探讨了两种解决方案:第一种解决方法是数据扩充无法解决广义化问题,第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。
Sep, 2021
密集路径检索(DPR)是提升大型语言模型(LLM)性能的检索增强生成(RAG)范式中的第一步,本研究通过探测、层激活分析和模型编辑的组合,深入研究 DPR fine-tuning,发现 DPR 训练方式中的去中心化存储及其对检索模型的限制,为密集检索提供了几个可能的方向:(1)将更多知识暴露给 DPR 训练过程以实现更多的去中心化,(2)将事实作为分散表示注入,(3)在检索过程中建模和融入知识的不确定性,以及(4)将内部模型知识直接映射到知识库。
Feb, 2024
本文介绍了近期基于 PLMs 的 dense retrieval 的相关研究进展,从架构、训练、索引、集成四个方面总结了主流技术,并提供了网站和代码库等丰富资源以支持读者的研究工作。
Nov, 2022
本文提出了一种名为 FGD 的新学习框架,可以通过 multi-granular aligned distillation 快速有效地在长文档中检索相关文档,同时保留了传统的密集检索模式。
Dec, 2022
信息检索中的全面检索方法被应用于大型语言模型的前提学习中,这些检索方法早期用于经典应用,但近期多用于异构且严格的应用,需要改进小 K 值的检索。我们提出了一种改进的密集检索方法,通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索,并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。
Oct, 2023
本论文提出了一种名为 UnifieR 的学习框架,它将基于预训练语言模型的密集向量和基于词汇表的检索统一在一个模型中,并在多个基准测试中验证了其有效性和可转移性。
May, 2022
本研究探讨了如何通过有效验证缩小训练与检索之间的差距并提高稠密检索的性能,在密集短语检索中取得了 2~3 个关键短语检索准确度和 2~4 个段落检索准确度的提升。
Oct, 2022