ACLMay, 2023

大型语言模型是内置自回归搜索引擎

PDF
TL;DR这篇论文旨在研究大型语言模型的文档检索能力。实验表明，通过提供少量上下文演示，大模型可以直接生成正确答案的网址，相比于目前的检索方法在开放领域问答中表现更佳。
document retrievalautoregressive search enginelarge language modelsquery-url pairsopen-domain question answering
发现论文，激发创造
  • 自我检索：运用一种大型语言模型构建信息检索系统

    本文提出了自助检索 (Self-Retrieval) 的一种端到端、以大型语言模型为驱动的信息检索架构，能够充分内化信息检索系统所需的能力到一个单一的大型语言模型，深度利用语言模型在信息检索过程中的能力。实验结果表明，自助检索不仅在很大程度上优于以前的检索方法，还能显著提升以大型语言模型为驱动的下游应用，例如检索增强生成。

    Feb, 2024

  • 大型语言模型是强零 - shot 召回器

    该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

    Apr, 2023

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 将 LLMs 转化为跨模态和跨语言检索系统

    使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。

    Apr, 2024

  • LLM-Augmented Retrieval: 借助语言模型和文档级嵌入增强检索模型

    该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个 LLM 增强的检索框架，我们显著提高了广泛使用的检索模型（如 Bi-encoders 和 late-interaction models）的效果，并在 LoTTE 数据集和 BEIR 数据集上取得了最新的研究成果。

    Apr, 2024

  • DocReLM: 用语言模型掌握文档检索

    通过使用大型语言模型，我们展示了文献检索系统能够达到先进的语义理解能力，显著优于现有系统；我们的方法包括使用大型语言模型生成的领域特定数据来训练检索器和再排名器，此外，我们还利用大型语言模型从检索到的论文参考文献中识别候选项以进一步提高性能；我们使用量子物理学和计算机视觉领域的学术研究人员标注的测试集来评估系统的性能，结果显示 DocReLM 在计算机视觉领域的前十准确率为 44.12%，而 Google Scholar 为 15.69%，在量子物理学中提高到 36.21%，而 Google Scholar 为 12.96%。

    May, 2024

  • 自回归搜索引擎：生成子字符串作为文档标识符

    提出利用自回归模型生成和打分 n 元组，并通过高效的数据结构将其映射到完整段落的检索方案，相较于其他检索方案具有更好的性能表现和更小的内存占用。

    Apr, 2022

  • 利用互联网优化大型语言模型

    本文提出一种利用搜索引擎对大型语言模型进行网络增强的方法，通过自适应搜索引擎辅助学习和基于重要区间预测的连续知识学习任务，使模型在各种知识密集型任务中的性能表现显著优于基于检索的增强方法。

    May, 2023

  • 大型搜索模型：在 LLMs 时代重新定义搜索架构

    通过统一搜索任务，大规模语言模型框架重新定义了传统的搜索栈，利用其强大的语言理解和推理能力，提高搜索结果质量并简化搜索系统。

    Oct, 2023

  • 构建更好的基于大型语言模型的稠密检索模型

    提出了一种新颖的方法 LLaRA（LLM 适应于密集检索），它作为 LLM 的事后适应工具，用于密集检索应用。LLaRA 包括两个预处理任务：EBAE (基于嵌入的自编码) 和 EBAR (基于嵌入的自回归)，其中来自 LLM 的文本嵌入用于重建输入句子的标记并预测下一句的标记。LLaRA 简单、轻量且高效，应用于 LLMaMA-2-7B（基础）模型，在维基百科语料库上大大提升了模型对各种密集检索基准（如 MSMARCO 和 BEIR）的微调性能。

    Dec, 2023