Jan, 2024
上下文语言学习:结构和算法
In-Context Language Learning: Arhitectures and Algorithms
Ekin Akyürek, Bailin Wang, Yoon Kim, Jacob Andreas
TL;DR通过研究在背景语境中的大规模神经语言模型对正则语言的学习,我们展示了 Transformers 相对于递归或卷积模型在 in-context 语言学习任务上的显著优势,并提出硬连接高阶归纳头到递归和卷积模型可改善这个任务和自然语言建模的性能。