self-attentional architecture | BriefGPT

关键词self-attentional architecture

搜索结果 - 1

神经语言模型的自适应输入表示
论文介绍了适应性输入表示对神经语言建模的重要性，对比了在自注意力网络结构中以字符、单词和亚词元为单位以及输入和输出层的因数分解方案，并最终实现了在不增加参数前提下提高模型训练速度和减少困惑度的目的。
PDF6 years ago