May, 2023
模型是否真的学会遵循指令?一项关于指令调整的经验研究
Do Models Really Learn to Follow Instructions? An Empirical Study of Instruction Tuning
Po-Nien Kung, Nanyun Peng
TL;DR本文分析了模型在指令调优过程中如何利用指令,并对比了模型在不同指令下的表现。结果显示,指令调优的表现提升可以来自学习表面模式,例如识别输出格式和猜测。因此,本研究提出了迫切需要更加可靠的指令调优方法和评估。