Jan, 2024

INTERS: 在搜索中利用指导调整解锁大型语言模型的能力

PDF
TL;DR本研究探索指令调优提高大型语言模型在信息检索任务中的能力，并引入了一个新的指令调优数据集，INTER，涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明，INTER 显著提高了公开可用的 LLMs（如 LLaMA、Mistral 和 Phi）在搜索相关任务中的性能。
large language modelsinformation retrievalprompt-based methodsinstruction tuningir tasks
发现论文，激发创造
  • 使用顺序指令对大型语言模型进行微调

    大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源 LLMs（如 LLaMA-2 70B 和 Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予 LLMs 执行多个顺序指令的能力。通过探索 Alpaca 等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。

    Mar, 2024

  • 通过搜索引擎和大型语言模型之间的交互进行知识细化

    本文介绍了信息检索的演进以及大语言模型和搜索引擎的利弊，提出了 InteR 框架，通过交互改进知识的检索，并通过实验验证其优越性。

    May, 2023

  • 大型语言模型的指导调整：一项调研

    对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

    Aug, 2023

  • FollowIR: 评估和教授信息检索模型遵循指导

    现代大型语言模型具备跟随长而复杂的指令以完成各种用户任务的能力。本研究引入了数据集 FollowIR，其中包含了严格的指令评估基准以及用于帮助信息检索模型学习更好地遵循真实世界指令的训练集。我们的结果表明现有的检索模型未能正确地使用指令，只是简单地使用关键词，并且难以理解长篇信息。然而，我们展示了信息检索模型学习遵循复杂指令的可能性：我们的新模型 FollowIR-7B 在我们的训练集上经过微调后有显著的改进（超过 13%）。

    Mar, 2024

  • 对比教学调节

    指令调优是一种改善大型语言模型对未知任务性能的有前途的方法。然而，当前的大型语言模型在面对未知指令时表现出有限的稳健性，当相同的指令以稍微变形或语言风格变化的形式表达时会生成不一致的输出。这种行为表明大型语言模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷，可能引发不可靠性问题。基于此，我们提出了对比指令调优，该方法通过最大化语义上等效的指令实例对的隐藏表示之间的相似性，最小化不同语义的实例对之间的相似性。为了促进这一方法，我们通过改写任务指令来扩充现有的 FLAN 集合。在 PromptBench 基准测试上的实验证明，对比指令调优（CoIN）能够使大型语言模型在字符、词、句子和语义级别上对未知指令的稳健性得到持续提升，平均准确率提高了 2.5%。

    Feb, 2024

  • InPars-v2: 信息检索高效数据集生成器的大型语言模型

    通过使用开源的大型语言模型和现有强大的重排序器，InPars-v2 提出了一种用于生成训练数据的合成查询 - 文档对的数据集生成器，并通过简单的 BM25 检索管道和使用 InPars-v2 数据微调的 monoT5 重排序器，取得了 BEIR 基准测试的最新最优结果。

    Jan, 2023

  • 基于检索增强的大语言模型的开放式命名实体识别指令调整

    探索了检索增强的指示调节（RA-IT）方法在信息抽取领域的应用，特别关注开放式命名实体识别任务，通过从训练数据集中检索语义相似的例子作为上下文，并将其前置到原始指示的输入中，验证了 RA-IT 方法在不同数据规模和中英文情景下的有效性。

    Jun, 2024

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 信息检索与大型语言模型结合：中国信息检索社区的战略报告

    信息检索领域，自传统搜索开始已经发展得非常成熟，并且扩展到满足用户不同的信息需求。最近，大型语言模型在文本理解、生成和知识推理方面表现出了异常的能力，为信息检索研究打开了令人兴奋的新方向。大型语言模型不仅有助于生成式检索，还为用户理解、模型评估和用户系统交互提供了改进的解决方案。最重要的是，信息检索模型、大型语言模型和人类之间的相互作用形成了一个更强大的信息搜索技术范式。信息检索模型提供实时和相关的信息，大型语言模型提供内部知识，而人类在信息服务的可靠性方面起到了需求者和评估者的核心角色。然而，仍然存在一些重大挑战，包括计算成本、可信度问题、特定领域限制和伦理考虑。为了深入讨论大型语言模型对信息检索研究的变革性影响，中国信息检索界于 2023 年 4 月举办了一次战略研讨会，得出了有价值的见解。本文总结了研讨会的成果，包括对信息检索核心价值的重新思考、大型语言模型和信息检索的相互增强、一个新的信息检索技术范式的提出以及面临的挑战。

    Jul, 2023

  • 经验调教语言模型优于知识学习者

    通过在文档训练之前进行问答配对，提出了一种称为 PIT（pre-instruction-tuning）的方法，能够显著提高大型语言模型从新文档吸收知识的能力，比传统的指令调整方法的性能提高了 17.8%。

    Feb, 2024