BriefGPT.xyz
大模型
Ask
alpha
关键词
pre-training speed
搜索结果 - 1
EMNLP
为跨语言语言模型预训练分配大型词汇容量
通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax,从而缓解词汇量增加的副作用,提高交叉语言模型的预训练速度和性能。
PDF
3 years ago
Prev
Next