BriefGPT.xyz
大模型
Ask
alpha
关键词
language pre-training
搜索结果 - 2
预训练图循环网络用于语言表示
本研究提出了一种基于图循环网络的语言模型预训练方法,其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer,用于自监督学习的时候有较高的潜力。
PDF
2 years ago
ICLR
重新思考语言预训练中的位置编码
提出一种新的位置编码方法 TUPE,该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算,并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中,我们证明了该方法的有效性。
PDF
4 years ago
Prev
Next