May, 2022
少样本参数高效微调优于上下文学习且更为经济
Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning
Haokun Liu, Derek Tam, Mohammed Muqeeth, Jay Mohta, Tenghao Huang...
TL;DR通过比较 Few-shot in-context learning 和 Parameter-efficient fine-tuning 的方法,我们证明 PEFT 具有更好的精度和极低的计算成本。我们提出了一种名为 (IA)$^3$ 的新的 PEFT 方法,并提出了一个基于 T0 模型的简单配方,称为 T-Few,在没有任务特定调整或修改的情况下可以应用于新任务。我们在 RAF 基准测试中验证了 T-Few 的有效性,首次达到了超人类表现,并超越了现有技术的 6%。