Jul, 2024

VRSD: 大型语言模型检索中相似性和多样性的再思考

HTML
PDF
TL;DR在大型语言模型（LLM）的语义查询中，矢量检索算法对于同时满足相似性和多样性的条件具有重要意义。本文通过总和矢量与查询矢量之间的关系，引入了一种新的方法来表征相似性和多样性在检索过程中的约束。此外，我们还提出了一种新的组合优化挑战，从一组候选矢量中选择k个矢量，使其总和矢量与查询矢量最大程度地对齐，这是一个NP完全问题，从而奠定了在矢量检索中同时追求相似性和多样性的深远困难，并为进一步的研究奠定了理论基础。此外，我们提出了启发式算法Vectors Retrieval with Similarity and Diversity (VRSD)，它不仅具有明确的优化目标，避免了预设参数的需求，还较MMR在时间复杂度上实现了适度的降低，经验验证进一步证实VRSD在各种数据集上明显优于MMR。
发现论文，激发创造
  • Promptagator: 从8个示例实现少样本密集检索

    本文提出了基于大语言模型的Few-shot Dense Retrieval任务中Prompt-based Query Generation for Retriever (Promptagator)方法，利用少量任务单独的知识生成具有任务特定的检索器并使用LLM促进扩展性，与传统基于自然问题或MS MARCO的训练方式相比，使用8个或更少的样本提示LLM生成的双编码器可以显著提高检索性能达1.2个nDCG以上。

    Sep, 2022

  • 使用检索增强和多阶段精炼的大型语言模型的查询意图

    本文介绍一种实用而有效的检索增强方法（QUILL），它能够通过检索增强大型语言模型在查询理解方面的能力，而不会增加计算量。我们提出了一种新颖的两阶段蒸馏方法来处理检索增强的模型，证明了这种方法在公共基准测试中取得了出色的性能。

    Oct, 2022

  • 密集稀疏检索：使用稀疏语言模型进行推理高效密集检索

    研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用MSMARCO数据集，精确度几乎没下降，推理速度最多提高了4.3倍。

    Mar, 2023

  • 评估信息检索嵌入式API

    通过对话题建模，本文分析了语义嵌入API在真实检索场景中的行为，如能力，成本及最佳实践等问题，为读者提供了适合其需要的合适的服务建议。

    May, 2023

  • 基于摘要描述的文本检索

    本文提出了新的检索模型，结合了指令模型和基于检索模型，使用大型语言模型的正负对进行训练，以改进当前文本嵌入技术性能。

    May, 2023

  • RAG与RAU:自然语言处理中检索增强语言模型的综述

    大型语言模型与检索增强语言模型结合，提供了一个全面的概述，探讨了它们的范式、演化、分类和应用，以及其中关键组件如检索器、语言模型和增强部分，同时讨论了其在多个任务中的效用和评估方法，以及未来研究的方向。

    Apr, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 利用相关信息增益的改进RAG算法

    大型语言模型（LLM）的记忆扩展常常通过检索增强的生成（RAG）实现，该方法将来自更大记忆的文本插入LLM的上下文窗口。我们提出了一种基于相关信息增益的新型简单优化指标，通过优化这个指标，多样性自然地从我们的系统中出现。当用作RAG系统的检索组件的替代品时，这种方法在检索增强生成基准（RGB）的问答任务中展现出了最先进的性能，超过了直接优化相关性和多样性的现有指标。

    Jul, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

    Aug, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究针对传统检索模型在特定领域的准确性和泛化能力不足的问题，采用大型语言模型（LLMs）进行评估，探讨其在密集检索中的独特优势。研究结果表明，较大的模型和更长的预训练时间能够显著提高领域内准确性和数据效率，同时在零样本泛化、长检索等多任务学习中具有重要潜力，这为未来的研究和开发提供了有价值的见解。

    Aug, 2024