本文探讨了在训练数据有限的情况下，如何将单词分割为标准化的语素，提出了两种新的模型：LSTM 指针生成器和带有硬单调注意力的序列到序列模型，并在德语、英语、印度尼西亚语、波波卢卡语和特佩瓦语进行了实验。结果显示，在低资源情境下，这些新颖的方法比现有方法在所有语言上的准确度都高出 11.4%。然而，在真正的低资源语言波波卢卡语和特佩瓦语中，最好的模型仅获得了 37.4% 和 28.4% 的准确度，因此我们总结出标准化分割仍然是低资源语言中的一个具有挑战性的任务。

Oct, 2020

标准词素分析是将单词分析为其组成形态素的标准（即底层）形式的过程。本文提出了一种利用先前经过训练的高资源单语言模型获得的翻译的字符级序列到序列模型来改善标准分词任务的方法，取得了在无资源情况下超越基准的效果，但在训练数据更多的情况下结果不稳定。尽管在高资源环境中使用翻译仍需进一步研究，但我们的模型在资源极度有限的情况下展现出希望。

Mar, 2024

该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

Oct, 2022

本研究提出了一种基于形态学的单词分割方法，能够在训练时缩小词汇表的同时保留词结构中的语言和语义信息，以协助神经机器翻译，实验结果表明此方法能显著提高土耳其 - 英语和维吾尔 - 中文机器翻译任务的性能，降低数据稀疏性和语言复杂性。

Jan, 2020

我们提出了有标签的形态学分割，这是一种统一几个任务的形态处理的替代视角。从标注角度来看，我们还引入了一种新的形态句法标签集的层次结构。最后，我们开发了 extsc {modelname}，这是一个判别性的形态学分割系统，与之前的工作相反，它明确地建模了形态句法。我们展示了 extsc {modelname} 在六种语言的三个任务上的改进表现：（i）形态学分割，（ii）词干提取和（iii）形态学标签分类。在形态学分割上，我们的方法相对于基准线有 2-6 个 $F_1$ 的绝对改进。

Apr, 2024

非毛利族新西兰人（NMS）在对毛利语的词汇分割方面与母语者表现高度相似，这种能力假设是通过识别和提取统计重复形式而获得的。我们通过比较 NMS 的分割结果与 Morfessor 的结果（一种基于统计重复的无监督机器学习模型）来验证这一假设，结果表明 NMS 在形态学过程中成功分割了通过合并过程（如复合词和无音位词缀）形成的词汇，同时他们的学习过程对于通过模板和其他形态学结构线索形成的词汇也敏感，说明 NMS 的学习过程不仅仅依赖于统计重复。

Mar, 2024

我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

Jun, 2024

本论文研究基于数据驱动的子词分割在自然语言处理等领域的应用是否适用于非连接语素构词方式，通过一套测试套件对分割策略在不同形态学现象上的表现进行比较，并发现学习分析和生成表面的形态上下文仍然具有挑战性且应针对多种语言应用测试新的文本表征策略，以减少不同策略对某些语言造成的不利影响。

Sep, 2021

该研究介绍了 SIGMORPHON 2022 共享任务关于形态素分割，试图将单词分解为一系列形态素，并覆盖了大部分类型的形态学。结果表明，该任务的提交结果对于单词级别和句子级别的形态素分割与现有的 3 种子单词分割方法相比有显著提高，为错误分析和未来的研究提供了有用的数据。

Jun, 2022

本文提出了基于分段的语言模型处理无监督中文分词的方法，并使用上下文编码器和分段解码器设计了神经模型，达到了与最新统计模型相当的性能。

Oct, 2018