BriefGPT.xyz
Ask
alpha
关键词
enhanced interactive transformer
搜索结果 - 1
EIT: 强化交互式变压器
本文提出了一种新的神经网络架构,即增强交互式 Transformer (EIT),用于解决自注意机制中的头部衰减问题。我们将传统的多头自注意机制替换为增强的多头注意力机制 (EMHA),并引入两种交互模型,Inner-Subspace 交互
→
PDF
2 years ago
Prev
Next