本文研究基于嵌入的检索模型，并探究对段落级别的预训练任务在训练强大的嵌入式Transformer模型上的关键作用。

Feb, 2020

本文提出了coCondenser方法，将Condenser预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与RocketQA相当的性能。

Aug, 2021

本文提出了基于大语言模型的Few-shot Dense Retrieval任务中Prompt-based Query Generation for Retriever (Promptagator)方法，利用少量任务单独的知识生成具有任务特定的检索器并使用LLM促进扩展性，与传统基于自然问题或MS MARCO的训练方式相比，使用8个或更少的样本提示LLM生成的双编码器可以显著提高检索性能达1.2个nDCG以上。

Sep, 2022

提出了一种新的体系结构，Task-aware Specialization for dense Retrieval (TASER)，该模型通过交错共享模块和专用模块在单个编码器中实现参数共享，能够在使用密集检索模型时提高准确性并显著减少了参数数量, 在五个问答数据集上实验表明，与双编码器密集检索器相比，TASER能够在使用大约60%的参数的同时实现卓越的准确性。

Oct, 2022

通过对话题建模，本文分析了语义嵌入API在真实检索场景中的行为，如能力，成本及最佳实践等问题，为读者提供了适合其需要的合适的服务建议。

May, 2023

本文提出了新的检索模型，结合了指令模型和基于检索模型，使用大型语言模型的正负对进行训练，以改进当前文本嵌入技术性能。

May, 2023

提出了一种新颖的方法LLaRA（LLM适应于密集检索），它作为LLM的事后适应工具，用于密集检索应用。LLaRA包括两个预处理任务：EBAE (基于嵌入的自编码)和EBAR (基于嵌入的自回归)，其中来自LLM的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA简单、轻量且高效，应用于LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如MSMARCO和BEIR）的微调性能。

Dec, 2023

该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个LLM增强的检索框架，我们显著提高了广泛使用的检索模型（如Bi-encoders和late-interaction models）的效果，并在LoTTE数据集和BEIR数据集上取得了最新的研究成果。

Apr, 2024

本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

Aug, 2024

本研究针对传统检索模型在特定领域的准确性和泛化能力不足的问题，采用大型语言模型（LLMs）进行评估，探讨其在密集检索中的独特优势。研究结果表明，较大的模型和更长的预训练时间能够显著提高领域内准确性和数据效率，同时在零样本泛化、长检索等多任务学习中具有重要潜力，这为未来的研究和开发提供了有价值的见解。

Aug, 2024