通过对自然语言指令模板中的60个自然语言处理任务进行调整，我们将一个137B预训练语言模型调整为FLAN并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在20个任务上超越了175B GPT-3的零样本性能。
Sep, 2021
本文提出了Unlabeled Data Augmented Instruction Tuning (UDIT)算法，通过使用未标注的文本数据构建伪标注数据，以更好地利用指令来提高指令微调的性能，实验结果表明UDIT在不同场景下都具有较好的效果。
Oct, 2022
使用Self-Instruct框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于finetuning，大大提高了模型的通用性。
Dec, 2022
本研究提出了MultiInstruct，这是第一个多模态指令调优基准数据集，旨在设计多个特定的任务和多个专家编写的指令，使用已存在的开源数据集和多个迁移学习策略来优化OFM模型的强零示性能，并且探索了一个新的评估指标：敏感性。
研究通过逐步指南调整的方式，可以帮助语言模型完成指定任务，提高跨任务泛化能力。自动获得的逐步指南，结合原始指南对语言模型进行调整，可以为完成目标任务提供详细和具体的步骤。研究发现，高质量的逐步指南可以提高不同模型大小之间跨任务的泛化能力，并且步骤的顺序对此具有重要影响。
May, 2023
本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入“软提示”嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。
Jun, 2023
通过利用大型语言模型，InstructTODS 提供了一种零训练样本的端到端任务导向式对话系统的框架，可以适应多样领域并有效地将用户意图转化为查询，而且在帮助性、信息性和人性化方面明显优于黄金标准回复及现有技术的 TODS。
Oct, 2023
通过上下文指导生成回复的语言模型在多轮对话生成任务中取得了令人瞩目的成果，通过对指令进行微调并将其与输入对齐，可以显著提高生成性能。
Nov, 2023
使用Statement-Tuning技术，通过对有限的陈述进行建模，训练一个编码器模型来确定标签，实现跨任务泛化，并展示相比于最先进的大型语言模型状态，Statement Tuning具有竞争性能且参数更少，研究还探索了几个设计选择对少样本和零样本泛化的影响，揭示Statement Tuning能够在适度的训练数据下达到足够的性能，并从任务和陈述的多样性中获益，使得对未见任务的泛化性更好。
Apr, 2024
通过跨语言调整指令和数据获取方法，研究表明对未知任务的指令调优在英文和韩文方面都取得了显著的改善效果，与单语指令调优相当甚至有些任务超过，强调了在指令调优过程中通过跨语言数据获取的相关性和语言一致性的重要性。
Jun, 2024