Dec, 2023

乌兹别克音节提取工具的设计与实现

PDF
TL;DR在该研究中，我们提出了一种综合的途径来对乌兹别克语进行音节化，其中包括基于规则的技术和机器学习算法。我们的研究结果表明，这两种方法都具有高度准确性，超过了 99%。这项研究为未来在乌兹别克语及其他相关低资源土耳其语言中关于音节化及相关领域的研究提供了宝贵的见解和建议。
syllabificationuzbek languagerule-based techniquesmachine learning algorithmsaccuracy
发现论文，激发创造
  • 重新审视音节在语言建模中的作用及其在低资源机器翻译上的应用

    本文探讨利用音节对语言建模和机器翻译的作用。通过 21 种语言的实验，我们发现音节优于字符和其他的子词。在对一个非相关和低资源语言组（西班牙语 - Shipibo-Konibo）进行翻译时，音节在成对的和多语言的系统中优于无监督的子词和进一步的形态分割方法。最后，我们进行了一些人类评估，并讨论了局限和机遇。

    Oct, 2022

  • UzbekStemmer: 为乌兹别克语开发一种基于规则的词干提取算法

    本文介绍了一种基于规则的乌兹别克语词干提取算法，该算法使用基于有限状态机的词缀剥离方法，将词缀分类为 15 个类别并设计为 FSM，最后建立一个基本 FSM，并创建了一个 XML 格式的词缀词典用于开发基于 FSM 的词缀提取应用程序。

    Oct, 2022

  • 基于神经序列标注的语言无关音节划分

    使用深度学习模型，我们提出了一个新的用于音节划分的方法，并在多个语系下表现出与当前最佳方法一致的竞争力。

    Sep, 2019

  • 一种基于有限状态机的乌兹别克语规则词形还原算法的开发

    构建维吾尔语词形还原算法来识别单词的本义词，其中使用了词缀数据库和词性知识以及有限状态机来移除维吾尔语中的词缀。

    Oct, 2022

  • UzMorphAnalyser: 用词尾进行乌兹别克语言的形态分析模型

    该论文提出了对乌兹别克语词汇进行形态分析、寻找词干、确定词性信息的模型，经过验证和评估后，该模型在词级别的准确度超过了 91%，并且已经以基于 Web 应用程序和开源 Python 库的形式提供。

    May, 2024

  • 乌兹别克字母之间的机器音译工具

    本文介绍了一种使用基于规则的和微调的方法开发出的机器音译工具，用于低资源语言乌兹别克语的三种常见脚本的转换，并支持乌兹别克语新宣布的拉丁字母表，其 Python 开源代码以及包含公共 API 的 Web 应用程序是可用的。

    May, 2022

  • 乌兹别克语停用词检测精度：以 “学校语料库” 为例的案例研究

    本文介绍了一种用于评估停用词列表质量的方法，以自动创建技术。该方法在乌兹别克语的自动生成停用词列表上进行了测试，可以应用于相似语言。

    Sep, 2022

  • 为乌兹别克语创建形态和句法标记语料库

    本研究填补了低资源乌兹别克语领域机器学习模型样本不足的问题，开发了新的词性标注和句法标注标准，并提出了一个基于网络的工具来帮助标注。同时，我们共享了创建乌兹别克语语料库的第一阶段的经验结果。

    Oct, 2022

  • MUST&P-SRL：跨多语言和单一音节划分的文本和语音表示学习

    本文介绍了一种语言特征提取的方法，特别关注多种语言中单词的自动音节划分，在文本和音标领域中提取音素转录、重音标记和统一的自动音节划分；通过剔除研究，我们证明了这种方法在多种语言（英语、法语和西班牙语）中自动音节划分单词的有效性；此外，我们将该技术应用于 CMU ARCTIC 数据集的转录中，生成了有价值的注释，可供语音表示学习、语音单元发现和语音相关领域中的语音要素分离使用。

    Oct, 2023

  • 引入音节分词技术用于低资源语言：以斯瓦希里语为例研究

    我们提出了一种音节分词器，并采用实验为中心的方法验证所提出的分词器在斯瓦希里语中的有效性。我们使用 GPT2 进行文本生成实验，结果证明所提出的音节分词器能够有效地表示斯瓦希里语。

    Mar, 2024