BriefGPT.xyz
大模型
Ask
alpha
关键词
position embeddings
搜索结果 - 21
R-Transformer:加强循环神经网络的 Transformer 模型
本文提出了 R-Transformer 模型,结合了 RNN 和多头注意力机制的优点,同时避免了它们各自的缺点,能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明,在大多数任务中,R-Transf
→
PDF
5 years ago
Prev
Next