Nov, 2023
杯子课程：模型容量的课程学习
Cup Curriculum: Curriculum Learning on Model Capacity
Luca Scharr, Vanessa Toborek
TL;DR通过应用一种专门的学习策略，课程学习旨在提高学习者在给定任务上的表现，可以关注数据集、任务或模型。然而，在自然语言处理中，关于在模型容量上应用课程学习的研究还很少。为了弥补这一空白，我们提出了杯子课程学习方法。在训练的第一阶段，我们采用了迭代型挤压零重来减少模型容量。这些权重在第二阶段重新引入，导致模型容量在训练迭代中出现杯状曲线。我们经验性地评估了杯子课程学习的不同策略，并证明它在可靠性上优于早期停止，同时对过拟合表现出很高的韧性。