Jun, 2024
从实例训练到指导学习：通过指导生成任务适配器
From Instance Training to Instruction Learning: Task Adapters Generation
from Instructions
TL;DR通过指令调优的方式，利用大型语言模型(Large language models, LLMs)能够解决各种普适任务，然而，指令调优仍过于依赖大量任务数据的实例训练，这严重限制了LLMs在实际场景中对标记任务实例稀缺和广泛任务泛化的适应能力。为了解决实例训练的缺点，本文致力于模拟人类学习，注重指令学习以增强跨任务泛化。在此背景下，我们引入了基于给定任务指令的参数生成方式，自动构建特定任务模型的任务适配器生成(TASK Adapters Generation from Instructions, TAGI)，无需为每个新任务重新训练。具体而言，我们利用知识蒸馏来增强TAGI通过指令学习而开发的模型与通过实例训练而开发的任务特定模型之间的一致性，通过对齐标签、输出逻辑和适配器参数来实现。TAGI通过两阶段的训练过程，包括超网络预训练和微调，赋予了跨任务泛化能力。我们在Super-Natural Instructions和P3数据集上评估了TAGI，实验结果表明，TAGI能够与传统的元训练模型和其他超网络模型相媲美，同时显著减少计算要求。