EMNLPApr, 2022

超自然说明：通过对超过 1600 个自然语言处理任务提出声明性说明来实现泛化

PDF
TL;DR本文首先引入了 Super-NaturalInstructions, 一个包含 1616 个不同类型的 NLP 任务及其指令的跨任务基准，通过构建 Tk-Instruct 模型，能够在超过九个百分点的水平上优于目前现存的模型，并对不同的模型参数进行了进一步的分析以期实现更通用的 NLP 模型。
nlp modelsgeneralizationsuper-naturalinstructionstk-instructcross-task benchmark
发现论文，激发创造
  • 通过自然语言众包指导实现跨任务的推广

    通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。

    Apr, 2021

  • 指令归纳：从少量样本到自然语言任务描述

    该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务，通过自然语言生成指令，InstructGPT 的表现达到了人类的 65.7％，建议指令感应可能是一种学习范例。

    May, 2022

  • 通过逐步指导提高跨任务泛化性能

    研究通过逐步指南调整的方式，可以帮助语言模型完成指定任务，提高跨任务泛化能力。自动获得的逐步指南，结合原始指南对语言模型进行调整，可以为完成目标任务提供详细和具体的步骤。研究发现，高质量的逐步指南可以提高不同模型大小之间跨任务的泛化能力，并且步骤的顺序对此具有重要影响。

    May, 2023

  • 从任务说明中学习的鲁棒性

    本研究探讨了新任务指令被恶意篡改、改写或来自不同书面表达程度时，基于预训练语言模型的监督系统的稳健性。

    Dec, 2022

  • Prompt All You Need？并不是。指令学习的全面和更广泛的视角

    此篇综述分析了自然语言处理中基于任务指导的学习，包括任务指导的含义、类型、建模方法、影响因素、表现和挑战。此外，该文是第一次关于文本指导的全面综述。

    Mar, 2023

  • 不自然的指示：使用（几乎）无人工操作的方式调整语言模型

    通过对大量不同类别的创造性指示进行收集，实现了使用深度学习语言模型（pretrained language models）从 inference-time 自然语言指示中执行新任务的可能性并验证了其用于数据集扩展和多样化的价值。

    Dec, 2022

  • 额外指示值得多少数据样本？

    通过增加指令任务的附加指令，Instruction-augmentation 显着提高了模型性能，特别是在低数据范式下对于 instruction-tuned model 的表现等价于平均约 200 个数据样本，这对于非专家用户使用 NLP 资源定义新任务具有积极意义。

    Mar, 2022

  • 自我指导：用自动生成的指令对齐语言模型

    使用 Self-Instruct 框架，可以将预训练模型与指令对齐，提高模型的指令遵循能力，无需过多人为指令数据，可用于 finetuning，大大提高了模型的通用性。

    Dec, 2022

  • 指导多样性推动对未知任务的泛化

    通过调整指令，大型语言模型（LLM）可以进行微调，实现真实世界任务执行和遵循人类指令；实现普遍使用的关键取决于模型学习更广泛的指令集而不仅仅是训练集上的指令。本文通过实验探究了指令多样性与模型普适性之间的权衡，发现多样性的指令集使模型具备普适性，并确保在训练集上非均匀分布指令的情况下保持鲁棒性。

    Feb, 2024

  • 图灵测试：语言模型是否理解指令？

    本文介绍 Turking Test 模型，旨在检验模型理解不同复杂度任务的自然语言指令的能力。通过对模型错误模式的分析，作者发现大型预训练语言模型的性能表现较差，但指令理解本身具有广泛应用前景。

    Oct, 2020