May, 2023
Dynosaur: 一种动态生长范式用于指令调整数据策划
Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation
Da Yin, Xiao Liu, Fan Yin, Ming Zhong, Hritik Bansal...
TL;DR本文提出了 Dynosaur,一种基于现有 NLP 数据集元数据的动态增长范式,用于构建 LLM 的指令调整数据,同时研究将连续学习作为指令调整的一种新方法,并演示了在任务表示选择方面进行任务重演的有效性。