Dec, 2018
分词对神经机器翻译的影响程度如何?
How Much Does Tokenization Affect Neural Machine Translation?
Miguel Domingo, Mercedes Garcıa-Martınez, Alexandre Helle, Francisco Casacuberta, Manuel Herranz
TL;DR对五种分词器在十种语言对上的实验表明,Tokenization 对神经机器翻译的最终翻译质量产生重大影响,不同语种需要选择最佳的分词器来提高翻译质量。