本研究提出了一种基于形态学的单词分割方法，能够在训练时缩小词汇表的同时保留词结构中的语言和语义信息，以协助神经机器翻译，实验结果表明此方法能显著提高土耳其 - 英语和维吾尔 - 中文机器翻译任务的性能，降低数据稀疏性和语言复杂性。

Jan, 2020

本文研究了两种形态学分割方法的监督和无监督模型，并使用序列到序列模型和条件随机场对其进行训练，利用变压器技术在规范化分割上优于带有注意力的 LSTM，并使用基于特征的 CRF 优于双向 LSTM-CRF，在有监督的情况下获得 97.1％的 F1 分数，但在无监督的情况下，该模型的效果并不理想，因此我们希望高性能的监督分割模型将有助于促进发展更好的 NLP 工具。

Apr, 2021

本研究提出了两种方法来对单词进行无监督分词，特别适用于富有形态学的语言，如芬兰语。第一种方法基于 MDL 原则并且可以在线进行。在第二种方法中使用了最大似然 (ML) 优化。比较所得到的分割和现有的形态分析，证明这些方法在芬兰语和英语语料库上表现良好，相对于现有的一流系统而言。

May, 2002

本论文研究基于数据驱动的子词分割在自然语言处理等领域的应用是否适用于非连接语素构词方式，通过一套测试套件对分割策略在不同形态学现象上的表现进行比较，并发现学习分析和生成表面的形态上下文仍然具有挑战性且应针对多种语言应用测试新的文本表征策略，以减少不同策略对某些语言造成的不利影响。

Sep, 2021

本文提出用双向循环神经网络替代 NMT 源语言嵌入层，在任何所需的粒度水平上生成组合表示，从而解决基于统计的分词方法中可能导致的形态错误，实现了从字符 N-gram 组成词表示的 NMT 训练方法的一致逆袭。

May, 2018

我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

Jun, 2024

本文介绍了一种针对单语词根基于期望最大化算法和词典剪枝的 unigram 子词模型的训练算法，并比较了不同算法在英语、芬兰语、北萨米语和土耳其语数据集上的效果。通过改进优化问题，提高了基于语言黄金标准的单词分割的准确率。同时，我们在广泛使用的 Morfessor 软件包中公开了新算法的实现。

Mar, 2020

本文探究了针对四种多合成语言（Nahuatl，Raramuri，Shipibo-Konibo 和 Wixarika）的一系列监督式和非监督式的词形分割方法，并将词形分割方法与字节对编码（BPEs）进行比较，发现在翻译到和从西班牙语的所有语言对中，除了 Nahuatl 外，非监督式的词形分割算法一直表现优异，而监督式的方法在机器翻译挑战中表现不佳。最后，我们为 Raramuri 和 Shipibo-Konibo 捐献了两个新的词形分割数据集，以及一个 Raramuri - 西班牙语平行语料库。

Mar, 2022

比较了基于形态学和 BPE 方法的子词切分对低资源神经机器翻译任务的影响，发现其对翻译性能影响不一，并且各自有表现最好的情况。

Mar, 2021

本论文研究了如何在语言的概率模型中考虑单词的子结构。从单词的形态学基本概念出发，提出了三种不同类型的语言模型。在 n 元语言模型中，提出了一种基于复合词分解的 Bayesian 模型，还开发了一种新的分布式语言模型。在这两种情况下，论文表明考虑单词的子结构可以提高模型性能和机器翻译的质量。此外，我们还探讨了一些可以自动学习语言词根及语言特征的模型。这些方法应用在闪族语言上表现出更好的结果。

Aug, 2015