BriefGPT.xyz
Mar, 2024
神经机器翻译中基于BPE词汇修剪的分析
An Analysis of BPE Vocabulary Trimming in Neural Machine Translation
HTML
PDF
Marco Cognetta, Tatsuya Hiraoka, Naoaki Okazaki, Rico Sennrich, Yuval Pinter
TL;DR
在这篇论文中，我们研究了阈值词汇裁剪在字节对编码子词分词中的应用，这是一种后处理步骤，可以将罕见的子词替换为其组成的子词。尽管在机器翻译实现中建议删除罕见的子词以减小模型大小并提高模型性能，但我们的实验表明，在各种超参数设置下，词汇裁剪无法提高性能，甚至可能导致严重的性能下降。
Abstract
We explore
threshold vocabulary trimming
in
byte-pair encoding subword tokenization
, a postprocessing step that replaces
rare subwords
wit
→