BriefGPT.xyz
Sep, 2021
精调语言模型是零-shot学习器
Finetuned Language Models Are Zero-Shot Learners
HTML
PDF
Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu...
TL;DR
通过对自然语言指令模板中的60个自然语言处理任务进行调整，我们将一个137B预训练语言模型调整为FLAN并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在20个任务上超越了175B GPT-3的零样本性能。
Abstract
This paper explores a simple method for improving the
zero-shot learning
abilities of
language models
. We show that
instruction tuning
--
→