Sep, 2022

Promptagator: 从8个示例实现少样本密集检索

HTML
PDF
TL;DR本文提出了基于大语言模型的Few-shot Dense Retrieval任务中Prompt-based Query Generation for Retriever (Promptagator)方法，利用少量任务单独的知识生成具有任务特定的检索器并使用LLM促进扩展性，与传统基于自然问题或MS MARCO的训练方式相比，使用8个或更少的样本提示LLM生成的双编码器可以显著提高检索性能达1.2个nDCG以上。
发现论文，激发创造
  • 通过软提示调整大型语言模型以辅助密集检索

    本论文提出了软提示调整强化密集检索的SPTAR模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR在密集检索任务中获得了比BM25和基于LLMs的增强方法更优秀的结果。

    Jul, 2023

  • CONVERSER：基于合成数据生成的小样本对话稠密检索

    使用CONVERSER框架，在最多6个领域对话示例的情况下，利用大规模语言模型的上下文学习能力为基于对话的密集重排进行训练，实验结果表明所提出的框架在少样本对话密集重排中取得了可比较的性能。

    Sep, 2023

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小K值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023

  • DPR主题：用于密集段落检索的基于主题的提示

    Topic-DPR是一种基于主题的密集段落检索模型，通过对多个基于主题的提示进行优化和对比学习，使表示与其主题分布对齐，提高空间均匀性，并引入了一种新的正负采样策略来提高检索效率。实验证明，该方法超过了之前最先进的检索技术。

    Oct, 2023

  • W-RAG：用于开放域问答的弱监督密集检索

    本研究针对开放域问答中大语言模型无法仅依赖内部知识生成正确答案的问题，提出了W-RAG方法。该方法利用大语言模型的排名能力生成弱标签数据，优化密集检索器的训练。实验结果表明，该方法显著提升了检索和问答的性能。

    Aug, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

    Aug, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究针对传统检索模型在特定领域的准确性和泛化能力不足的问题，采用大型语言模型（LLMs）进行评估，探讨其在密集检索中的独特优势。研究结果表明，较大的模型和更长的预训练时间能够显著提高领域内准确性和数据效率，同时在零样本泛化、长检索等多任务学习中具有重要潜力，这为未来的研究和开发提供了有价值的见解。

    Aug, 2024

  • Promptriever：可像语言模型一样被提示的指令训练检索模型

    本研究解决了传统检索模型无法接受指令提示的空白，提出了Promptriever，这是首个能够像语言模型一样响应指令的检索模型。研究发现，Promptriever在标准检索任务上表现优异，且在遵循详细的相关性指令方面显著提升，同时增强了对查询和指令的措辞选择的鲁棒性，展现了检索模型在每个查询中受控于提示的潜力。

    Sep, 2024

  • RARe：通过上下文示例增强检索的检索方法

    本研究解决了在检索任务中，使用上下文示例提升嵌入模型性能的有效性问题。我们提出了一种简单的方法RARe，通过对预训练模型进行微调，使用与目标查询语义相似的上下文示例，从而在多个开放领域的检索数据集上实现了最高+2.72%的nDCG提升，并在领域外的泛化能力上表现更强。这为未来在该领域的研究奠定了基础。

    Oct, 2024

  • 利用似然性作为检索增强生成的性能评估工具

    本研究解决了检索增强生成中，大语言模型受文档检索顺序影响的问题，并通过深入分析填补了这一领域的空白。我们提出似然性作为语言模型性能的有效评估工具，通过实验证明了问题的似然性与回答准确性之间的相关性，并提出两种利用问题似然性优化提示选择与构建的方法，显著提升了生成效果。

    Nov, 2024