Oct, 2022

UzbekStemmer: 为乌兹别克语开发一种基于规则的词干提取算法

PDF
TL;DR本文介绍了一种基于规则的乌兹别克语词干提取算法，该算法使用基于有限状态机的词缀剥离方法，将词缀分类为 15 个类别并设计为 FSM，最后建立一个基本 FSM，并创建了一个 XML 格式的词缀词典用于开发基于 FSM 的词缀提取应用程序。
uzbek languagestemming algorithmaffix strippingfinite state machinesmorphological rules
发现论文，激发创造
  • 乌兹别克词缀有限状态机用于词干提取

    提出一种使用有限状态机的乌兹别克语形态分析器，通过去除词缀来找到词根，而不包括任何词汇，快速分析大量的文本。

    May, 2022

  • 一种基于有限状态机的乌兹别克语规则词形还原算法的开发

    构建维吾尔语词形还原算法来识别单词的本义词，其中使用了词缀数据库和词性知识以及有限状态机来移除维吾尔语中的词缀。

    Oct, 2022

  • UzbekTagger: 一种基于规则的乌兹别克语词性标记器

    本研究提出了一个低资源语言乌兹别克语的词性标注数据集和标注工具，使用一种基于规则的标注器，该标注器使用 12 种标签来标注单词的词性，通过使用前缀 / 后缀剥离方法对单词进行词干处理，该工具在乌兹别克文本中标注和识别单词的词性，并且是第一次公开提供乌兹别克语数据集和标注工具，也可以作为其他紧密相关土耳其语言的基础。

    Jan, 2023

  • UzMorphAnalyser: 用词尾进行乌兹别克语言的形态分析模型

    该论文提出了对乌兹别克语词汇进行形态分析、寻找词干、确定词性信息的模型，经过验证和评估后，该模型在词级别的准确度超过了 91%，并且已经以基于 Web 应用程序和开源 Python 库的形式提供。

    May, 2024

  • 乌尔都语基于规则的词干提取器

    本文介绍基于规则的乌尔都语词干提取器，用于信息检索，通过人类专家的验证评估结果。

    Oct, 2013

  • 乌兹别克音节提取工具的设计与实现

    在该研究中，我们提出了一种综合的途径来对乌兹别克语进行音节化，其中包括基于规则的技术和机器学习算法。我们的研究结果表明，这两种方法都具有高度准确性，超过了 99%。这项研究为未来在乌兹别克语及其他相关低资源土耳其语言中关于音节化及相关领域的研究提供了宝贵的见解和建议。

    Dec, 2023

  • 乌兹别克语停用词检测精度：以 “学校语料库” 为例的案例研究

    本文介绍了一种用于评估停用词列表质量的方法，以自动创建技术。该方法在乌兹别克语的自动生成停用词列表上进行了测试，可以应用于相似语言。

    Sep, 2022

  • XSTEM: 一个基于实例的词干提取算法

    本研究介绍一种快速，简单，可配置，高精度和高召回率的词干提取算法，其采用基于单词的查找表的简单性和性能与规则方法的强大普适性相结合，避免了词汇表外单词的问题。

    May, 2022

  • 为乌兹别克语创建形态和句法标记语料库

    本研究填补了低资源乌兹别克语领域机器学习模型样本不足的问题，开发了新的词性标注和句法标注标准，并提出了一个基于网络的工具来帮助标注。同时，我们共享了创建乌兹别克语语料库的第一阶段的经验结果。

    Oct, 2022

  • BanLemma: 一个以词形构造依赖规则和词典的孟加拉语词形还原工具

    本研究利用语言学规则和词典设计了一个专门用于孟加拉语的词形还原器，通过对大规模孟加拉语文本的分析，实现了在给定句子中基于单词词性分类的词形还原。词形还原器在经过训练的语言学家手动注释的测试数据集上取得了 96.36％的准确性，并在三个先前发布的孟加拉语词形还原数据集上展现了竞争性能。我们公开提供代码和数据集，以促进孟加拉语自然语言处理的进一步发展。

    Nov, 2023