BriefGPT.xyz
Nov, 2022
反比例缩放可能呈U形
Inverse scaling can become U-shaped
HTML
PDF
Jason Wei, Yi Tay, Quoc V. Le
TL;DR
本文研究了逆比例缩放任务,发现多数任务的表现呈现“U型缩放”,即随着模型大小的增加,性能先下降后上升,只有四个任务呈现逆比例缩放。研究表明,对于大型模型而言,先前观察到的精度下降趋势可能无法继续保持,并进一步支持大型模型会释放新的能力的主张。
Abstract
Although
scaling
language models
improves
performance
on a range of tasks, there are apparently some scenarios where
→