本研究对Karpukhin等人于2020年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了BM25基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

本文提出了coCondenser方法，将Condenser预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与RocketQA相当的性能。

Aug, 2021

该论文提出了DPT作为针对区分性PLMs的prompt tuning框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与vanilla fine-tuning相比，DPT在全集和低资源环境下都能显著提高性能，并解决了调整大型PLMs中的不稳定问题。

May, 2022

本文介绍了一种基于Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方法。

Jul, 2022

本文提出了基于大语言模型的Few-shot Dense Retrieval任务中Prompt-based Query Generation for Retriever (Promptagator)方法，利用少量任务单独的知识生成具有任务特定的检索器并使用LLM促进扩展性，与传统基于自然问题或MS MARCO的训练方式相比，使用8个或更少的样本提示LLM生成的双编码器可以显著提高检索性能达1.2个nDCG以上。

Sep, 2022

本论文提出了软提示调整强化密集检索的SPTAR模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR在密集检索任务中获得了比BM25和基于LLMs的增强方法更优秀的结果。

Jul, 2023

通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在23个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了DePT在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了DePT在模型规模增大时更加高效，并展示了DePT在少样本学习设置和各种模型架构和规模中的适应性。

Sep, 2023

Topic-DPR是一种基于主题的密集段落检索模型，通过对多个基于主题的提示进行优化和对比学习，使表示与其主题分布对齐，提高空间均匀性，并引入了一种新的正负采样策略来提高检索效率。实验证明，该方法超过了之前最先进的检索技术。

Oct, 2023

密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究DPR fine-tuning，发现DPR训练方式中的去中心化存储及其对检索模型的限制，为密集检索提供了几个可能的方向：（1）将更多知识暴露给DPR训练过程以实现更多的去中心化，（2）将事实作为分散表示注入，（3）在检索过程中建模和融入知识的不确定性，以及（4）将内部模型知识直接映射到知识库。

Feb, 2024

本文提出了一种针对开放域问答中重新排序的特定段落提示调优方法（PSPT），该方法能够通过微调可学习的段落特定软提示，并结合限定的问题-段落相关性对段落特定知识进行增强，以基于模型生成问题的对数似然和学到的软提示对检索到的段落进行排序。通过在三个公开可用的开放域问答数据集上使用Llama-2-chat-7B模型进行广泛实验，结果证明了所提方法的有效性。

May, 2024