EMNLPOct, 2022

课程学习的培训动态:单语和跨语言 NLU 的研究

TL;DR本研究利用训练动态作为难度指标,对现有的课程学习调度程序进行修改,并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution(OOD)场景下获得更好的性能,提高至多 8.5%。同时,该方法相较于其他难度度量方法更能平滑训练,并且平均速度提高了 20%。