BriefGPT.xyz
Ask
alpha
关键词
byte2word
搜索结果 - 1
字节级表示在语言建模中的应用
该论文提出了一种新的方法 Byte2Word,通过引入交叉注意力网络建立单词级别的表示,并基于单词级别的隐藏状态进行子词级别的预测,从而实现了更精简的输入嵌入方式,同时在语言模型和文本分类上表现出与强大的基准模型 BERT 相当的性能。
PDF
2 years ago
Prev
Next