BriefGPT.xyz
大模型
Ask
alpha
关键词
multilingual source model
搜索结果 - 1
专注:有效的嵌入初始化策略用于针对单一语言进行预训练的多语言模型优化
使用高资源语言预训练的模型权重作为启动可以降低获取低资源语言高质量语言模型所需的数据和计算量,为了适应新语言,需要调整预先训练的词汇表和嵌入。本文研究了多语言源模型设置,提出了 FOCUS - Fast Overlapping Token
→
PDF
a year ago
Prev
Next