BriefGPT.xyz
大模型
Ask
alpha
关键词
causal transformer language models
搜索结果 - 1
EMNLP
仍可学习位置信息的 Transformer 语言模型无需位置编码
本研究探讨了基于因果变换的语言模型(LMs),例如 GPT-3,需要某种形式的位置编码,例如位置嵌入。然而,我们发现在没有任何显式位置编码的情况下,这样的 LM 与标准模型仍然具有竞争力,这一现象在不同的数据集、模型大小和序列长度中是鲁棒的
→
PDF
2 years ago
Prev
Next