DPR 主题:用于密集段落检索的基于主题的提示
本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型(DPR)进行了复制研究,其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术,使用与原论文相同的模型获得更好的端到端问题答案准确性。
Apr, 2021
密集路径检索(DPR)是提升大型语言模型(LLM)性能的检索增强生成(RAG)范式中的第一步,本研究通过探测、层激活分析和模型编辑的组合,深入研究 DPR fine-tuning,发现 DPR 训练方式中的去中心化存储及其对检索模型的限制,为密集检索提供了几个可能的方向:(1)将更多知识暴露给 DPR 训练过程以实现更多的去中心化,(2)将事实作为分散表示注入,(3)在检索过程中建模和融入知识的不确定性,以及(4)将内部模型知识直接映射到知识库。
Feb, 2024
本篇论文旨在研究在密集检索中,如何利用深度提示调整来减少部署成本,提出了两种与预训练语言模型和密集检索任务兼容的方法,并在 MS-MARCO 和自然问题数据集上取得了优于之前最先进模型的效果。
Aug, 2022
本研究解决了大型语言模型 (LLMs) 中的幻觉问题。我们采用了检索增强生成 (Retrieval-Augmented Generation, RAG) 技术,通过在提示信息中嵌入相关信息来获得准确答案。然而,RAG 在检索正确信息方面也面临固有问题。为了解决这个问题,我们采用了密集路径检索 (Dense Passage Retrieval, DPR) 模型,用于获取与用户查询相关的领域专业文档。尽管如此,DPR 模型在文档检索方面仍然精度不足。我们通过引入控制符号来增强 DPR 模型,取得了显著优异的性能,Top-1 准确率提高了 13%,Top-20 准确率提高了 4%。
May, 2024
本论文提出了软提示调整强化密集检索的 SPTAR 模型,并可利用少量的真实数据优化特定的软提示。在实验中,SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。
Jul, 2023
本文提出改进内部表示粒度,引入基于上下文句子的模型和 in-passage 负采样策略,以缓解不合适的建模方式对于对话的影响,在三个基准数据集上进行实验并验证方法的有效性,特别是在冲突严重的数据集中的表现。
Oct, 2021
通过研究密集短语检索系统,探讨短语检索是否可以作为粗粒度检索(如段落和文档)的基础,并提出了短语过滤和矢量量化等方法,可以将检索索引的大小减小至原来的 4-10 倍,从而使得密集短语检索成为多粒度检索的实用解决方案。
Sep, 2021
本研究展示了如何使用密集向量表示实现开放领域的问答,通过一个简单的双编码框架,通过从一小部分问题和段落中学习嵌入来实现检索,并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法,为终端 QA 系统的最新性能奠定了基础。
Apr, 2020
本文介绍了一种新的概率提示学习方法,利用可学习的类别不可知属性提示描述对象类的通用属性,并与类别信息和视觉上下文知识相结合,定义类别特定的文本分布,通过使用概率像素文本匹配损失来指导密集预测任务,增强了所提出方法的稳定性和泛化能力。实验结果表明了我们提出的方法的有效性。
Apr, 2023
本文介绍了近期基于 PLMs 的 dense retrieval 的相关研究进展,从架构、训练、索引、集成四个方面总结了主流技术,并提供了网站和代码库等丰富资源以支持读者的研究工作。
Nov, 2022