Jan, 2023

InPars-v2: 信息检索高效数据集生成器的大型语言模型

PDF
TL;DR通过使用开源的大型语言模型和现有强大的重排序器，InPars-v2 提出了一种用于生成训练数据的合成查询 - 文档对的数据集生成器，并通过简单的 BM25 检索管道和使用 InPars-v2 数据微调的 monoT5 重排序器，取得了 BEIR 基准测试的最新最优结果。
large language modelsinformation retrievalfew-shot learningdataset generationretrieval pipeline
发现论文，激发创造
  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • InPars-Light: 高效排序器的成本有效的无监督训练

    通过对 InPars 配方进行可重复性研究，我们开发了一种简单但有效的修改版 InPars，称为 InPars-light，它仅使用免费的语言模型 BLOOM 和 7x-100x 较小的排序模型，是第一个真正具有成本效益的基于提示的无监督配方，用于训练和部署神经排名模型，其结果优于 BM25。

    Jan, 2023

  • INTERS: 在搜索中利用指导调整解锁大型语言模型的能力

    本研究探索指令调优提高大型语言模型在信息检索任务中的能力，并引入了一个新的指令调优数据集，INTER，涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明，INTER 显著提高了公开可用的 LLMs（如 LLaMA、Mistral 和 Phi）在搜索相关任务中的性能。

    Jan, 2024

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 在多语言多层次检索中，利用 LLMs 合成训练数据

    通过使用 SWIM-IR 合成训练数据集，我们研究了多语言密集检索模型的能力，并在三个检索基准上对其进行了全面评估，发现 SWIM-IR 可以以较低成本替代昂贵的人工标记检索训练数据。

    Nov, 2023

  • 大型语言模型具有配对排名提示的有效文本排名器

    本文提出了一种新的技术叫做 Pairwise Ranking Prompting (PR)，通过使用适当的排名提示，减少了 LLMs 的负担，使用 moderate-sized open-sourced LLMs 在标准的基准测试中实现了最先进的排名表现。

    Jun, 2023

  • 基于排名的生成模型在 [CLS] 任务中的应用

    本研究旨在重新审视信息检索的生成式框架，并比较其与基于语义相似性的判别式模型在答案选择任务上的表现。同时，还展示了非似然损失对信息检索的有效性。

    Oct, 2020

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • 大型语言模型是强零 - shot 召回器

    该论文提出了一种简单的方法，使用大规模语言模型作为信息检索的检索器，从而在零 - shot 场景下提高检索效率。该方法通过在检索词和其他相关域内候选之间进行组合，来辅助语言模型生成更精确的答案，使得检索更加透明，从而实现竞争力更强的检索结果。

    Apr, 2023

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022