BriefGPT.xyz
Ask
alpha
关键词
bpe-dropout
搜索结果 - 2
分词不足:分词的诅咒
大型语言模型存在分词问题,导致对错别字、长度差异和标记内部结构的忽视。本研究通过探究复杂问题解决、标记结构探测和对错别字的抵抗力来系统地调查这些挑战及其对大型语言模型的影响,并展示模型参数缩放与子词规范化对解决这些问题的作用。
PDF
19 days ago
ACL
BPE-Dropout: 简单而有效的子词规范化
本研究提出了一种名为 BPE-dropout 的简单有效的子词规则化方法,通过随机扰动 BPE 的分词过程,在相同的 BPE 框架下生成多个分词方法,使用 BPE-dropout 能够显著提高机器翻译质量,比使用 BPE 和其他子词规则化方
→
PDF
5 years ago
Prev
Next