理解大型语言模型中的指令混合

Dec, 2023

Understanding the Instruction Mixture for Large Language Model

Renxi Wang, Minghao Wu, Yuxia Wang, Xudong Han, Chiyu Zhang...

TL;DR本研究通过对指导数据集的混合类型进行分类和研究，发现特定类型的指导对于特定用途更有益处，但可能对其他方面造成伤害，强调了精心设计指导混合以最大化模型性能的重要性。该研究对指导混合提出了新观点，并为未来研究铺平了道路。

Abstract

While instructions fine-tuning of large language models (llms) has been proven to enhance performance across various applications, the inf

instructions fine-tuning language models llms instruction dataset mixture model performance

发现论文，激发创造

使用顺序指令对大型语言模型进行微调

大语言模型（LLMs）在单个查询中难以遵循一系列指令，从而可能忽略或错误解释其中的一部分，这影响了它们在需要多个中间步骤的复杂问题（例如多语言（翻译然后回答）和多模态（字幕然后回答）任务）中的性能。我们通过使用开源 LLMs（如 LLaMA-2 70B 和 Mixtral-8x7B）进行实证验证。针对当今数据中顺序指令的稀缺性，我们提出了顺序指令调整，这是一种简单而有效的策略，用于自动增加指令调整数据并赋予 LLMs 执行多个顺序指令的能力。通过探索 Alpaca 等现有数据集中的交替指令和各种中间任务，我们发现，顺序指令调整模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统的指令调整基线。为了进一步阐明我们的技术，我们分析了敌对中间文本、未见任务、提示语言的表达、任务数量和提示长度对顺序指令调整的影响。我们希望这种方法能为复杂任务的指令调整开辟新的研究途径。

Mar, 2024

SelectLLM: LLM 能否选择重要指令进行注释？

通过使用大型语言模型（LLM）和大量多样化的训练指令数据集，本研究提出了一种称为 SelectLLM 的新型方法，利用 LLMs 来选择高质量的指令，并在常见的指令评估中展示出相当或稍微更好的性能。

Jan, 2024

使用指令损失进行指令调整

通过实验证明，Instruction Modelling 能够提高语言模型的性能，特别是在指令调整数据集不充足、指令长度与输出长度不匹配以及减少过拟合情况下，对低资源场景中的语言模型进行指令调整提供了实用指南。

May, 2024

大语言模型的分布转移鲁棒指令优化

本文针对大型语言模型自然语言处理任务中指令优化研究，提出了一种框架，可为 LLM 提供更健壮的最优指令以在具有不同分布的测试数据上提高性能，同时保持在训练数据上的表现。

May, 2023

大型语言模型中的指导位置在序列生成中的作用

通过改变任务指令在输入句子之后的位置，我们提出了一种增强大型语言模型的指令遵循功能的方法，该方法可以显著改善条件序列生成的零样本性能。

Aug, 2023

评估语言模型的零样本鲁棒性

本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入 “软提示” 嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

Jun, 2023

BioInstruct: 大型语言模型用于生物医学自然语言处理的指令调整

LLMs 在自然语言处理任务中取得了巨大成功，但在生物医学领域的指令却只有少数发布。为了解决这个问题，我们介绍了 BioInstruct，一个包含超过 25000 个示例的定制任务特定指令数据集。通过使用 BioInstruct 数据集对 LLMs 进行微调，我们旨在优化 LLM 在生物医学自然语言处理（BioNLP）领域的性能。我们在 BioNLP 应用中对 LLaMA LLMs（1＆2，7B＆13B）进行了指令调优，并评估了它们的信息提取、问答和文本生成能力。我们还使用多任务学习原则评估了指令对模型性能的贡献。

Oct, 2023

LLM 指导调优的数据选择调查

通过介绍使用的指导数据集，提出了数据选择方法的新分类，并详细介绍了最近的研究进展、评估策略和结果，强调了这一任务的挑战和新的前沿。

Feb, 2024

大型语言模型对指令的稳健性评估

指令微调方法能够增强大型语言模型在未知任务上的零样本功能，并对其性能和稳健性进行了评估，发现在处理陌生指令时性能显著下降，而对于关系抽取指令的稳健性较问答指令更差。

Aug, 2023

或许只需要 0.5% 的数据：低训练数据指令调优的初步探索

本文介绍了一种名为 Low Training Data Instruction Tuning (LTD Instruction Tuning) 的方式，从减少数据使用、优化任务性能、优化指令调整类型和使用任务特定模型等方面，降低大型语言模型（LLMs）指令调整的数据使用，提高数据利用效率。实验结果表明，可以使用少于原始数据集的 0.5% 来训练任务特定的模型，并且相较于使用完整的任务相关数据训练的模型，性能可提升 2%。

May, 2023