Nov, 2023

在多语言多层次检索中，利用 LLMs 合成训练数据

PDF
TL;DR通过使用 SWIM-IR 合成训练数据集，我们研究了多语言密集检索模型的能力，并在三个检索基准上对其进行了全面评估，发现 SWIM-IR 可以以较低成本替代昂贵的人工标记检索训练数据。
dense retrieval modelsmultilingual retrievalsynthetic training data generationswim-irhuman-supervised dense retrieval models
发现论文，激发创造
  • SynthesizRR: 利用检索增强生成多样化数据集

    通过检索和改进综合方法（SynthesizRR），我们通过扩展种子生成内容的方式来合成数据集，从而在语义和词汇多样性、与人类书写文本的相似性以及提纯效果方面极大地改善了标准 32-shot prompting 和其他六种基线方法。

    May, 2024

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 检索评估的合成测试集

    使用大型语言模型构建综合人工合成测试集来评估信息检索系统的可行性及存在的潜在偏见风险。

    May, 2024

  • InPars-v2: 信息检索高效数据集生成器的大型语言模型

    通过使用开源的大型语言模型和现有强大的重排序器，InPars-v2 提出了一种用于生成训练数据的合成查询 - 文档对的数据集生成器，并通过简单的 BM25 检索管道和使用 InPars-v2 数据微调的 monoT5 重排序器，取得了 BEIR 基准测试的最新最优结果。

    Jan, 2023

  • 面向多语言稠密检索的软提示解码

    本文提出了 KD-SPD 方法，透過 soft prompt decoding 處理多種語言之雜亂和不平衡性，運用知識蒸餾戰略，將 teacher model 訓練出的檢索知識轉移到多語言文檔編碼器上，實驗顯示在三個多語言檢索數據集中表現優於主流的競爭算法，具有更少的語言偏見和更好的零樣本轉移能力。

    May, 2023

  • INTERS: 在搜索中利用指导调整解锁大型语言模型的能力

    本研究探索指令调优提高大型语言模型在信息检索任务中的能力，并引入了一个新的指令调优数据集，INTER，涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明，INTER 显著提高了公开可用的 LLMs（如 LLaMA、Mistral 和 Phi）在搜索相关任务中的性能。

    Jan, 2024

  • 通过人工混合数据训练来提升零样本跨语言检索

    本研究探讨了如何将零 - shot 模型从高资源语言（一般是英语）迁移到其他语言，结果表明在不同语言的查询和文档中使用零 - shot 排名算法的有效性会降低。因此，我们提出利用双语词典生成人工混合语言的数据来训练排名模型，我们对从跨语言词嵌入和平行维基百科页面标题引导的词典进行了实验，最终在多语言、跨语言和单语言信息检索方面进行了评估。结果表明，使用代码切换可以在跨语言和多语言检索中带来一致且实质性的收益。

    May, 2023

  • 通过大型语言模型整合总结和检索，实现个性化增强

    通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。

    Oct, 2023

  • 从人工针到真实大量数据集：通过在合成数据上进行微调来改进 LLMs 的检索能力

    利用合成数据集对大型语言模型进行微调，显著提高了其在长上下文环境下的信息检索和推理能力。

    Jun, 2024