在这篇文章中，我们描述了我们参加的梵语单词分割和形态分析比赛，并提出了一个基于序列标注来预测分割操作的单词分割方法和一个基于形态标记预测转换规则来进行形态分析的方法，同时提出了一种用于联合分割和形态分析的端到端可训练的流水线模型，在联合分割和分析子任务中取得了最好的成绩（80.018 F1 score），在单独的子任务中表现第二好（分割：96.189 F1 score / 分析：69.180 F1 score）。最后，我们分析了模型的错误并就数据和评估提出了未来的研究和可能的改进。

Jan, 2022

通过自然语言技术，本论文的主要目标是使梵语手稿更便于最终用户使用。梵语的形态丰富、合成、词序自由和资源匮乏性为开发深度学习解决方案带来了重大挑战。论文针对四个基础任务，即词分割、依存分析、合成类型识别和诗歌分析，提出了有关梵语自然语言处理（NLP）技术的关键问题，并在解决这些挑战的过程中提出了多项贡献，包括提出了具有语言学信息的神经网络体系结构、展示了所提系统的可解释性和多语言扩展性、报道了最先进的性能以及开发了名为 SanskritShala 的神经工具套件。

Aug, 2023

提出了一种基于序列到序列模型的 Sanskrit Sandhi 文本分词方法，该模型只使用 Sandhi 化字符串作为输入，并预测正常分词的字符串，经过实验比当前最先进的模型具有更好的表现，且可在一晚上进行训练并应用于生产。

Feb, 2018

介绍了用于创建非配置语言的语言学注释语料库的注释方案和工具，该方案反映了一种分层的语言概念，并仅对具体的表示层之间的相互关系做出最小化的假设。

Feb, 1997

通过将整个句子作为输入，我们将形态素分割任务重新定义为序列到序列问题，结果显示多语种模型在性能上优于单语种模型，尽管没有超过最先进性能，但与高资源语言相比展现出了可比较的效果，同时揭示了在低资源语言情境下的限制。

Mar, 2024

我们提出了三个在标记化和子词分割中的创新。首先，我们建议使用 Morfessor 的无监督形态分析作为预标记化。其次，我们提出了一种代数方法来获取基于词嵌入空间的子词嵌入。基于此，我们设计了一种使用嵌入的新型子词分割算法，确保该过程考虑了词汇意义。第三，我们引入了一种基于子词二元模型的高效分割算法，可使用词汇感知分割方法进行初始化，以避免在推理时使用 Morfessor 和大型嵌入表。我们使用两个内在指标评估了所提出的方法，并在两个下游任务上测试了其性能：词性标注和机器翻译。我们的实验证明，在各语言上，通过在词素边界上评估的分割精度和改进的 Rényi 效率方面，该分割的形态合理性得到了显著提高。尽管所提出的标记化方法对自动翻译质量影响不大，但我们观察到在词性标注这个更具形态学特征的任务中一直存在性能提升。

Jun, 2024

本文研究了两种形态学分割方法的监督和无监督模型，并使用序列到序列模型和条件随机场对其进行训练，利用变压器技术在规范化分割上优于带有注意力的 LSTM，并使用基于特征的 CRF 优于双向 LSTM-CRF，在有监督的情况下获得 97.1％的 F1 分数，但在无监督的情况下，该模型的效果并不理想，因此我们希望高性能的监督分割模型将有助于促进发展更好的 NLP 工具。

Apr, 2021

本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。

Mar, 2021

该研究提出了一种基于语言模型的子词分段语言模型（SSLM），在训练期间学习如何分段单词，以优化语言模型的性能。通过统一子词分割和语言建模，SSL 模型学习到优化语言建模性能的子词。结果表明，学习子词分割是现有子词分割器的有效替代方案，可以发现类似词素的子词，以提高其语言模型的能力。

Oct, 2022

该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

Apr, 2021