Retrieval-augmented language models can be enhanced through a lightweight fine-tuning methodology called RA-DIT, which effectively integrates retrieval capabilities into any pre-trained language model, resulting in state-of-the-art performance in zero- and few-shot learning scenarios.

Oct, 2023

对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

Aug, 2023

在本研究中，通过对 LLMs 进行严格实验和深入分析，我们发现 Instruction Tuning 的各种限制，比如 IT 无法增强 LLMs 的知识或技能、从知识来源中复制响应模式会导致响应质量下降、全参数微调会增加虚构错误等。同时，我们的研究还表明，仅从预训练知识中生成的响应始终优于通过 IT 学习任何形式的新知识的模型生成的响应。

Feb, 2024

本研究探索指令调优提高大型语言模型在信息检索任务中的能力，并引入了一个新的指令调优数据集，INTER，涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明，INTER 显著提高了公开可用的 LLMs（如 LLaMA、Mistral 和 Phi）在搜索相关任务中的性能。

Jan, 2024

使用 SelectIT 自动选择高质量的指令调优数据，并应用于选择性 Alpaca-GPT4 数据集，提高模型性能。

Feb, 2024

Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

Jun, 2024

通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。

Jun, 2024

在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。

Feb, 2024

本文介绍了一种名为 ChatLR 的新型检索增强框架，主要利用大型语言模型（LLMs）的强大语义理解能力作为检索器，以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统，实验证明 ChatLR 在解决用户查询中表现出高达 98.8％的信息检索准确性。

May, 2024

该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

Apr, 2023