ACLApr, 2021

通过自然语言众包指导实现跨任务的推广

PDF
TL;DR通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。
nlpsupervised learninggenerative pre-trained language modelsmeta-datasetgeneralization
发现论文，激发创造
  • 超自然说明：通过对超过 1600 个自然语言处理任务提出声明性说明来实现泛化

    本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。

    Apr, 2022

  • 指令归纳：从少量样本到自然语言任务描述

    该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的 65.7％，建议指令感应可能是一种学习范例。

    May, 2022

  • 从任务说明中学习的鲁棒性

    本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。

    Dec, 2022

  • 向人类请教：利用人类指令提升强化学习的泛化能力

    本文提出通过使用自然语言指令和行动轨迹演示来自动分解分层任务，以解决在稀疏奖励的强化学习设置中的复杂多任务问题，并证明人类演示有助于解决最复杂的任务，同时允许该模型再未见数据的情况下推广学习，从而使训练好的代理人具有可解释的行为。

    Nov, 2020

  • 不自然的指示：使用（几乎）无人工操作的方式调整语言模型

    通过对大量不同类别的创造性指示进行收集，实现了使用深度学习语言模型（pretrained language models）从 inference-time 自然语言指示中执行新任务的可能性并验证了其用于数据集扩展和多样化的价值。

    Dec, 2022

  • LINGO: 视觉去偏见自然语言指令以支持任务多样性

    LINGO 是一种新颖的可视化分析界面，可帮助优化自然语言任务指令以减少偏差，并提高模型性能，且经实验验证其支持创建更高语言多样性和更低指令偏差的难度更大的任务；该工具可应用于多领域的指令撰写中。

    Apr, 2023

  • Prompt All You Need？并不是。指令学习的全面和更广泛的视角

    此篇综述分析了自然语言处理中基于任务指导的学习，包括任务指导的含义、类型、建模方法、影响因素、表现和挑战。此外，该文是第一次关于文本指导的全面综述。

    Mar, 2023

  • 通过逐步指导提高跨任务泛化性能

    研究通过逐步指南调整的方式，可以帮助语言模型完成指定任务，提高跨任务泛化能力。自动获得的逐步指南，结合原始指南对语言模型进行调整，可以为完成目标任务提供详细和具体的步骤。研究发现，高质量的逐步指南可以提高不同模型大小之间跨任务的泛化能力，并且步骤的顺序对此具有重要影响。

    May, 2023

  • 学习任务描述

    本文介绍了一种针对自然语言处理系统的新框架和英语语言数据集 ZEST，用于评估系统的任务解决能力和系统化泛化类型的测试。最新的 T5 模型在 ZEST 数据集上达到 12％的得分，为 NLP 研究者留下了一个巨大的挑战。

    Nov, 2020

  • 指导多样性推动对未知任务的泛化

    通过调整指令，大型语言模型（LLM）可以进行微调，实现真实世界任务执行和遵循人类指令；实现普遍使用的关键取决于模型学习更广泛的指令集而不仅仅是训练集上的指令。本文通过实验探究了指令多样性与模型普适性之间的权衡，发现多样性的指令集使模型具备普适性，并确保在训练集上非均匀分布指令的情况下保持鲁棒性。

    Feb, 2024