BriefGPT.xyz
大模型
Ask
alpha
关键词
tupe
搜索结果 - 1
ICLR
重新思考语言预训练中的位置编码
提出一种新的位置编码方法 TUPE,该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算,并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中,我们证明了该方法的有效性。
PDF
4 years ago
Prev
Next