现代大型语言模型具备跟随长而复杂的指令以完成各种用户任务的能力。本研究引入了数据集 FollowIR，其中包含了严格的指令评估基准以及用于帮助信息检索模型学习更好地遵循真实世界指令的训练集。我们的结果表明现有的检索模型未能正确地使用指令，只是简单地使用关键词，并且难以理解长篇信息。然而，我们展示了信息检索模型学习遵循复杂指令的可能性：我们的新模型 FollowIR-7B 在我们的训练集上经过微调后有显著的改进（超过 13%）。

Mar, 2024

本文介绍如何使用多任务指令调整来开发一般用途基于任务感知的检索系统，并且引入了包含 40 个使用指令的检索数据集 BERRI 和在其上使用指令训练的多任务检索系统 TART。此外，本文还引入了一个新的评估环境 X ^ 2-Retrieval，其中 TART 在广泛领域和任务汇集的情况下，在用户意图对齐的情况下显著优于竞争基线。

Nov, 2022

使用控制器架构的 ControlRetriever，通过自然语言中提供的特定检索意图，解决了密集检索模型在不同检索任务中表现不佳的问题，同时结合大型语言模型的发展，提出了一种新的策略来迭代地训练 ControlRetriever，经过大量实验证明其在多个检索任务上显著优于基线方法，并取得了最先进的零 - shot 性能。

Aug, 2023

研究中使用检索辅助的指令跟随模型在信息搜索问答任务中的性能表现，并分析了传统指标的不足之处，提出了反映这些模型真实性能的简单基于词汇重叠和模型的度量标准。研究发现，指令跟随模型在正确性方面具有一定竞争力，甚至有时优于微调模型，但在基于提供的知识的还原度上存在困难，经常出现虚构回答。

Jul, 2023

本研究探索指令调优提高大型语言模型在信息检索任务中的能力，并引入了一个新的指令调优数据集，INTER，涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明，INTER 显著提高了公开可用的 LLMs（如 LLaMA、Mistral 和 Phi）在搜索相关任务中的性能。

Jan, 2024

我们提出了一种名为 verbalizer manipulation 的新型指令跟踪评估协议，该协议通过使用高度匹配到轻微匹配的语言转化器，结合任何分类基准来检查模型对先验知识的依赖程度以及其是否能准确遵循指令。我们对四个重要的模型系列进行了全面评估，使用了每个系列的十二组语言转化器，发现模型在不同系列和规模上的指令遵循能力在较不自然的语言转化器上有明显差异。即使是最强大的 GPT-4 模型在最具挑战性的语言转化器上也难以比随机猜测更好，强调了需要持续进步来改善其指令遵循能力。

Jul, 2023

对于信息检索 (IR) 模型通常假设为同质化格式，限制了其适用于各种用户需求，如使用文本描述搜索图片，使用标题图搜索新闻文章或使用查询图搜索相似照片。为了满足这种不同的信息需求，我们引入了 UniIR，一种统一的指令引导多模态检索器，可以处理八个不同的跨模态检索任务。UniIR 是一个单一的检索系统，同时在十个不同的多模态 - IR 数据集上进行训练，解释用户指令来执行各种检索任务，展示了对现有数据集的鲁棒性能以及对新任务的零 - shot 泛化能力。我们的实验突出了多任务训练和指令调整是 UniIR 泛化能力的关键。此外，我们构建了 M-BEIR，一个综合结果的多模态检索基准，用于标准化通用多模态信息检索的评估。

Nov, 2023

介绍了 INSTRUCTOR 方法，该方法可以生成定制化的文本嵌入，能够胜任多种下游任务，且性能优于之前的模型。

Dec, 2022

本文提出了 InstructMining 用于评估指令遵循数据的质量，并使用该方法选择高质量数据进行 Fei 调。研究结果表明，使用 InstructMining 所选择的数据集表现出更优的性能。

Jul, 2023

通过对大型语言模型的指令遵循能力进行度量的多种度量方法的元评估，分析评估方法与人工判断之间的一致性，并提出基于 LLM 的无参考评估方法，改进了传统基准，并达到了要求高质量摘要的昂贵基于参考文献的指标的效果。

Oct, 2023