本篇论文介绍了一种序列标注框架，并将其应用于具有不同书写系统和类型特征的多种语言的单词分割，结果表明，单词分割的准确性与单词边界标记正相关并与非分割术语数量负相关。在此基础上，设计了一套小的语言特定设置，并基于 Universal Dependencies 数据集进行广泛评估，结果表明该模型在所有 UD 语言上获得了最先进的精度，在中文、日语、阿拉伯语和希伯来语等难以划分的语言上表现显著优于以前的工作。

Jul, 2018

本文研究了两种形态学分割方法的监督和无监督模型，并使用序列到序列模型和条件随机场对其进行训练，利用变压器技术在规范化分割上优于带有注意力的 LSTM，并使用基于特征的 CRF 优于双向 LSTM-CRF，在有监督的情况下获得 97.1％的 F1 分数，但在无监督的情况下，该模型的效果并不理想，因此我们希望高性能的监督分割模型将有助于促进发展更好的 NLP 工具。

Apr, 2021

本研究探讨用数据驱动的子字单元、字符和卷积神经网络（CNN）学习的单词嵌入来替代传统的形态学分割，实现阿拉伯语自然语言处理（NLP）中的词分割。实验表明，这些方法在机器翻译和词性标注任务中，可以达到接近或超过最先进性能。同时，研究揭示神经机器翻译系统对源和目标令牌的比值敏感，接近 1 或更大的比值有最佳性能。

Sep, 2017

提供了一种新的神经半 - Markov CRF 对齐模型，它通过可变长度跨度统一了单词和短语对齐，通过人工注释创建了一个新的基准，显示出在现实设置下评估单语言对齐模型的性能， 并证明了该模型在自动文本简化和句对分类任务中具有良好的普适性和实用性。

Jun, 2021

本文提出基于条件随机场的混合半马尔可夫模型，应用于自然语言处理中的神经序列标注任务，该模型采用词级别和片段级别的信息同时作为特征来提升性能，在 CoNLL 2003 命名实体识别任务中取得了最好的结果。

May, 2018

本文描述了将乌尔都语作为软件 API 实现的过程，包括正字法、形态学和词汇提取，并使用功能形态学工具包实现了乌尔都语的形态学。该实现能够在关键词的智能搜索、语言培训和句法基础设施等应用中复用，并演示了一小段乌尔都语句法的实现，展示了该实现的良好重用性。

Apr, 2022

本文介绍了基于条件随机场和深度学习的方法开发 Odia 词性标注器。通过实验，发现使用带字符序列特征和预训练词向量的 bi-LSTM 模型可以达到显著的最新成果。

Jul, 2022

本研究提出了一种在梵文中结合了词语分割和形态标注任务的结构化预测框架，采用了图形解析技术中通常采用的方法，其在使用不到特定训练数据的情况下，F 值达到了 96.92%（改善率为 7.06%），而采用图形解析方法而不是传统基于格子的顺序标注方法，则在分割任务中导致 F 值提高了 12.6%。

Sep, 2018

采用区域分割和 PHOG 特征的 HMM 方法，实现印度文字的手写单词识别，相较传统方式，该方法被证明提高了精度。

Aug, 2017

本文提出了一种基于字符级别的新型端到端模型，不需要分词器，采用半隐马尔可夫条件随机场和神经网络的结合，证明了其在多语言环境和存在嘈杂的 token 边界下的高效性。在嘈杂的英语词性标注基准数据集上，我们的模型明显优于同类模型，并和现有技术方法取得了一致的表现。

Aug, 2018