ICLRMay, 2023

神经调控门控变压器

TL;DR我们介绍了一种新颖的架构 —— 神经调制门控变压器 (NGT),通过乘性效应实现变压器中的神经调制。我们将其与基准进行比较,并证明其在 SuperGLUE 基准验证集中获得了最佳平均性能。