Mar, 2024

面向 LLM 的检索调节器

PDF
TL;DR提出了一种高效的基于大型语言模型的检索调谐器 (LMORT)，通过将检索和生成任务从共享的大型语言模型中分离出来，将检索容量与基础语言模型分开，并以非侵入性的方式协调语言模型的统一检索空间，实现了高效和有效的检索，同时保持了生成能力。在六个 BEIR 数据集上的广泛实验表明，我们的方法在保持语言模型生成能力的同时，可以达到与一些强大的密集检索模型相媲美的零样本检索性能。
dense retrievallarge language modelsintegrationretrieval tunerbeir datasets
发现论文，激发创造
  • 学习检索：如何有效高效地训练密集检索模型

    信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术， 它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

    Oct, 2020

  • 生成式密集检索：内存可能成为负担

    提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

    Jan, 2024

  • DPTDR: 深度提示调整用于稠密通道检索

    本篇论文旨在研究在密集检索中，如何利用深度提示调整来减少部署成本，提出了两种与预训练语言模型和密集检索任务兼容的方法，并在 MS-MARCO 和自然问题数据集上取得了优于之前最先进模型的效果。

    Aug, 2022

  • LLM-Augmented Retrieval: 借助语言模型和文档级嵌入增强检索模型

    该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个 LLM 增强的检索框架，我们显著提高了广泛使用的检索模型（如 Bi-encoders 和 late-interaction models）的效果，并在 LoTTE 数据集和 BEIR 数据集上取得了最新的研究成果。

    Apr, 2024

  • 通过软提示调整大型语言模型以辅助密集检索

    本论文提出了软提示调整强化密集检索的 SPTAR 模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。

    Jul, 2023

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • RA-DIT: 检索增强的双指令调整

    Retrieval-augmented language models can be enhanced through a lightweight fine-tuning methodology called RA-DIT, which effectively integrates retrieval capabilities into any pre-trained language model, resulting in state-of-the-art performance in zero- and few-shot learning scenarios.

    Oct, 2023

  • 零样本稠密检索的全面探讨

    本文通过第一次全面细致的研究，发现了与源数据集相关的关键因素、目标数据集的潜在偏差和现有零样本 DR 模型，从而提供了关于零样本 DR 模型的更好的理解和发展的重要证据。

    Apr, 2022

  • 域和相关性分离建模用于可适应的密集检索

    提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。

    Aug, 2022