本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。

Dec, 2022

该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的 65.7％，建议指令感应可能是一种学习范例。

May, 2022

本研究提出了一种新的学习范式 ConTinTin (Continual Learning from Task Instructions)，通过学习一系列新任务，每个任务都有一条文本指令，要求系统生成预期输出并将前面任务中获取的知识转移到后续任务中，同时保持甚至提高先前任务的性能。在 60 个由文本指令装备的任务流中，本文方法 InstructionSpeak 具有学习负面输出和重新访问先前任务指令的两个策略，可充分利用任务指令提高前向和后向传递效果。

Mar, 2022

通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。

Apr, 2021

本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。

Apr, 2022

本文介绍了一种针对自然语言处理系统的新框架和英语语言数据集 ZEST，用于评估系统的任务解决能力和系统化泛化类型的测试。最新的 T5 模型在 ZEST 数据集上达到 12％的得分，为 NLP 研究者留下了一个巨大的挑战。

Nov, 2020

通过增加指令任务的附加指令，Instruction-augmentation 显着提高了模型性能，特别是在低数据范式下对于 instruction-tuned model 的表现等价于平均约 200 个数据样本，这对于非专家用户使用 NLP 资源定义新任务具有积极意义。

Mar, 2022

该研究使用人工注释的消融分析方法研究任务定义在指令学习中的作用，并提出两种策略以帮助大型语言模型更好地利用任务指令，包括提供以常见结构化格式呈现关键信息的任务，并添加一个元调整阶段，以帮助模型更好地理解定义。应用这两种策略，在 119 个未见过的测试任务中取得了 4.2 Rouge-L 的提高。

Jun, 2023

本研究证实了即使是故意无关或甚至有误导性的提示，也可以让一些零样本或少样本学习模型像 “好” 的提示一样快地进行学习，这一模式适用于模型尺寸大小，这引出一个问题，问这种改进是不是源于模型像人类一样理解掌握任务提示。

Sep, 2021

该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

Jul, 2021