我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

Jun, 2024

本文研究了形态素如何影响语言模型的性能，通过使用 StateMorph 对芬兰语和俄语进行训练，发现相比于 BPE 和 Morfessor，使用 StateMorph 能够使模型更高效地收敛并获得更好的验证分数。

May, 2023

本研究提出了两种方法来对单词进行无监督分词，特别适用于富有形态学的语言，如芬兰语。第一种方法基于 MDL 原则并且可以在线进行。在第二种方法中使用了最大似然 (ML) 优化。比较所得到的分割和现有的形态分析，证明这些方法在芬兰语和英语语料库上表现良好，相对于现有的一流系统而言。

May, 2002

非毛利族新西兰人（NMS）在对毛利语的词汇分割方面与母语者表现高度相似，这种能力假设是通过识别和提取统计重复形式而获得的。我们通过比较 NMS 的分割结果与 Morfessor 的结果（一种基于统计重复的无监督机器学习模型）来验证这一假设，结果表明 NMS 在形态学过程中成功分割了通过合并过程（如复合词和无音位词缀）形成的词汇，同时他们的学习过程对于通过模板和其他形态学结构线索形成的词汇也敏感，说明 NMS 的学习过程不仅仅依赖于统计重复。

Mar, 2024

该研究介绍了 SIGMORPHON 2022 共享任务关于形态素分割，试图将单词分解为一系列形态素，并覆盖了大部分类型的形态学。结果表明，该任务的提交结果对于单词级别和句子级别的形态素分割与现有的 3 种子单词分割方法相比有显著提高，为错误分析和未来的研究提供了有用的数据。

Jun, 2022

本论文研究了如何在语言的概率模型中考虑单词的子结构。从单词的形态学基本概念出发，提出了三种不同类型的语言模型。在 n 元语言模型中，提出了一种基于复合词分解的 Bayesian 模型，还开发了一种新的分布式语言模型。在这两种情况下，论文表明考虑单词的子结构可以提高模型性能和机器翻译的质量。此外，我们还探讨了一些可以自动学习语言词根及语言特征的模型。这些方法应用在闪族语言上表现出更好的结果。

Aug, 2015

Aalto 大学使用基于 Transformer 模型的系统，通过引入跨语言的 Cognate Morfessor 来改进英语到芬兰语和爱沙尼亚语翻译的一致性，尤其是对于爱沙尼亚语这种资源相对较少的语言，同时在 WMT18 新闻翻译中取得了好的结果。

Aug, 2018

该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

Oct, 2022

本文讨论词的子词分割算法在自然语言处理和机器翻译等任务中的应用。虽然这些算法将单词分为形式上相对含义不明确的子词，然而它们在高效的机器翻译系统中发挥着作用。本文探讨这种算法的语言学和哲学学理基础，并试图使人工智能更透明和可解释。

Oct, 2022

本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

Apr, 2019