学习任务描述
通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。
Apr, 2021
此篇综述分析了自然语言处理中基于任务指导的学习，包括任务指导的含义、类型、建模方法、影响因素、表现和挑战。此外，该文是第一次关于文本指导的全面综述。
Mar, 2023
本文提出了基于电影领域的一套新任务套件，旨在测试模型回答事实性问题、提供个性化、进行短对话及在 Reddit 上执行自然对话的能力，评估了各种模型在这些任务上的性能表现。
Nov, 2015
该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的 65.7％，建议指令感应可能是一种学习范例。
May, 2022
论文介绍了 Hypter，一种可以通过训练超网络来生成特定任务轻量级适配器的框架，以提高文本到文本转换器对未知任务的泛化能力，实验表明 Hypter 在 ZEST 数据集上相对于微调基准模型有 11.3% 的提升。
Jan, 2021
本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。
Apr, 2022
该研究使用人工注释的消融分析方法研究任务定义在指令学习中的作用，并提出两种策略以帮助大型语言模型更好地利用任务指令，包括提供以常见结构化格式呈现关键信息的任务，并添加一个元调整阶段，以帮助模型更好地理解定义。应用这两种策略，在 119 个未见过的测试任务中取得了 4.2 Rouge-L 的提高。
Jun, 2023
使用基于描述性语言的学习方法，研究设计了一个环境来测试智能体的泛化技能，并通过多个测试评估方案和测试集发现，在随机任务拆分的情况下，文本推理的智能体更适合应对这一挑战。
Mar, 2022
本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。
Nov, 2020