本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description length gain 进行优化能在不同程度上优于基线频率加权方案。

Jul, 2018

本文探究了针对四种多合成语言（Nahuatl，Raramuri，Shipibo-Konibo 和 Wixarika）的一系列监督式和非监督式的词形分割方法，并将词形分割方法与字节对编码（BPEs）进行比较，发现在翻译到和从西班牙语的所有语言对中，除了 Nahuatl 外，非监督式的词形分割算法一直表现优异，而监督式的方法在机器翻译挑战中表现不佳。最后，我们为 Raramuri 和 Shipibo-Konibo 捐献了两个新的词形分割数据集，以及一个 Raramuri - 西班牙语平行语料库。

Mar, 2022

该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

Oct, 2022

本文研究了使用字节对编码（称为 BPE units）以及拼音音节作为翻译任务基本单元的效果， 结果表明，BPE units 作为翻译单元略优于拼音音节单元， 并且更适用于非元音书写系统的语言。

Oct, 2016

提出了一种基于国际音标的字符嵌入的生成框架，该框架可以处理未分隔单词和最接近的已知语言未确定的情况下，对未破译的失传语言进行解密，并在哥特语、乌加里特语和伊比利亚语上进行了实验验证。

Oct, 2020

本研究提出了一种名为 BPE-dropout 的简单有效的子词规则化方法，通过随机扰动 BPE 的分词过程，在相同的 BPE 框架下生成多个分词方法，使用 BPE-dropout 能够显著提高机器翻译质量，比使用 BPE 和其他子词规则化方法均能够带来更好的效果。

Oct, 2019

本文将解密任务视为分类问题，并在数据集上评估了各种 tokenizer 和模型组合的性能。

Jun, 2023

本文介绍了一种名为 “动态规划编码” 的新的分词算法，它使用轻量级混合字符 - 子词转换器进行动态规划分割，实验结果表明，DPE 对于分割输出句子非常有效，并可与 BPE dropout 结合使用。

May, 2020

该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

May, 2023

分析使用不同词汇分割方法，如 BPE 和 unigram 在提前训练 Transformer 语言模型时对其细微的影响，并比较它们的效果，在任务绩效中发现 unigram 的方法匹配或优于 BPE，建议开发者在预训练时采用 unigram 方法。

Apr, 2020