Sep, 2019

开发少资源语言的细粒度语料库：以库尔德语为例

PDF
TL;DR本文介绍了 Kurdisk Textbooks Corpus (KTC)，这是一个包括 31 个 Sorani 方言 K-12 教科书的文本资料库，它经过规范化并按照 12 个教育科目进行分类，包含了 693,800 个单词（110,297 个类型）。我们的资源可在 CC BY-NC-SA 4.0 许可下免费使用。
发现论文，激发创造
  • 低资源语言技术语料库构建方法研究：以南库尔德语和拉基语为例

    本研究旨在解决少数民族语言技术中面临的数据缺乏问题，提供了从当地新闻网站、当地电台和实地调查这几个角度获取南库尔德语和拉基语的语料库的方法，并探讨了语言识别任务在不同库尔德语言种和扎扎 - 戈拉尼语中的研究。

    Apr, 2023

  • 使用另一种语言进行低资源语言的词性标记（使用标记的波斯语 (Farsi) 语料库为库尔德语 (Sorani) 开发了一个 POS 标记化词典）

    本论文提出了将已有的波斯语语料库转用于库尔德语的词性标注。可用于库尔德语的标注语料库现阶段非常缺乏，本方法可以利用相关资源可以帮助开发自动库尔德语标注以及 Kurdish dialect 的词性标注词典。

    Jan, 2022

  • 开放韩国语料库：实用报告

    本文介绍了韩语语料库的资源开发、开放数据集以及为促进低资源语言的研究提出了开源数据集的构建和发布方向。

    Dec, 2020

  • 中央库尔德语种语言和语音技术

    我们开发语言和语音技术的资源，为中央库尔德语的各种变体创建语料库，并报告了机器翻译、自动语音识别和语言识别的性能。

    Mar, 2024

  • 在非拉丁文本中使用 Punkt 进行句子分段：对库尔德语（索拉尼方言）文本的实验

    该研究旨在使用一种无监督机器学习方法（Punkt）对使用波斯 - 阿拉伯文本写的 Sorani 方言的库尔德语语料库进行分割。该实验取得了 91.10％的 F1 分数，但错误率达到了 16.32％，主要原因是在库尔德语中的缩写情况和序数数字。

    Apr, 2020

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 计算语言学文档实验用的极低资源语音语料库

    这篇论文介绍了一个收集自非洲 Bantu C25 语族中的一种语言 Mboshi 的语音语料库，在几乎零的资源条件下构建了该语料库，并利用其中的数据完成了口语术语发现。该论文讨论了如何收集，清理和处理数据，并将该数据集提供给社区进行可重现的计算语言文献研究和评估。

    Oct, 2017

  • 一份众包的开源哈萨克语语音语料库及初始语音识别基准线

    我们制作了一个包含 332 小时的哈萨克语音语料库，内容涵盖来自不同地区和年龄组的参与者的超过 153,000 个语音，其中包含男女。这项工作旨在提高各种哈萨克语音和语言处理应用。我们详细描述了数据收集和预处理程序，并介绍了数据库规范。我们还分享了我们在数据库构建期间面临的经验和挑战，以对计划为低资源语言构建语音语料库的研究人员有所裨益。通过初步的语音识别实验，我们证明了该语料库的可靠性。此外，我们还发布了一个 ESPnet 配方，以支持该语音识别模型的复现和语料库的使用。

    Sep, 2020

  • 库尔德手语第一对平行语料库

    该论文介绍了一项将库尔德语口语和库尔德聋人使用的自然语言 —— 库尔德手语（KuSL）自动转换的研究。该研究使用基于 Avatar 的技术将中等库尔德方言 Sorani 的文字转换为库尔德手语，并使用统计机器翻译引擎进行了评估，最终在 BLEU 评估中获得了 53.8% 的准确率。

    May, 2023