threshold vocabulary trimming | BriefGPT

关键词threshold vocabulary trimming

搜索结果 - 1

神经机器翻译中基于 BPE 词汇修剪的分析
在这篇论文中，我们研究了阈值词汇裁剪在字节对编码子词分词中的应用，这是一种后处理步骤，可以将罕见的子词替换为其组成的子词。尽管在机器翻译实现中建议删除罕见的子词以减小模型大小并提高模型性能，但我们的实验表明，在各种超参数设置下，词汇裁剪无法
PDF3 months ago