ACLApr, 2024
多任务训练如何影响 Transformer 的上下文能力?对功能类别的研究调查
How does Multi-Task Training Affect Transformer In-Context Capabilities? Investigations with Function Classes
Harmon Bhasin, Timothy Ossowski, Yiqiao Zhong, Junjie Hu
TL;DR结合多任务学习和上下文学习,在大型语言模型中提出了有效的课程学习策略,使得模型能够高效地学习任务并对分布外的例子具有稳定的收敛性。