Mar, 2023

准备 Vuk'uzenzele 和 ZA-gov-multilingual 南非多语种语料库

PDF
TL;DR本文介绍了两个多语言政府主题语料库，并使用 Language-Agnostic Sentence Representations（LASER）嵌入创建平行的句子语料库，为 9 种土著语言提供 NMT 基准测试。
multilingual corporasouth african governmentnlpparallel sentence corporanmt benchmarks
发现论文，激发创造
  • 赞比西之声：赞比亚语言的多语言语音语料库

    Zambezi Voice 为挖掘两个不同语音来源的 Zambian 众所周知，首次推出了适用于 Zambian 语言的多语言语音数据集，可用于监督和非监督的学习方法，同时利用 Wav2Vec2.0 模型进行预训练和跨语言迁移学习，构建出基于端到端的语音识别模型。

    Jun, 2023

  • 为印度语言建立一个多语言平行语料收集的努力

    通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

    Jul, 2020

  • ZAEBUC-Spoken: 多语种多方言的阿拉伯 - 英语语音语料库

    我们提供 ZAEBUC-Spoken，这是一个多语种多方言的阿拉伯语 - 英语语音语料库，包括阿拉伯语和英语两种语言，其中阿拉伯语有多个变体（现代标准阿拉伯语、海湾阿拉伯语和埃及阿拉伯语），并且用不同的口音使用英语，包括这些语言和方言之间的混码。

    Mar, 2024

  • 验证和探索大规模地理文集

    本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

    Mar, 2024

  • 塞尔维亚语言建模的新文本语料库

    该文章介绍了用于大型语言模型训练的塞尔维亚语（和塞尔维亚 - 克罗地亚语）的文本语料库，并公开存储在多个知名在线资源库之一。对每个语料库使用多种方法进行分类，并详细说明其特点。此外，文章还介绍了三个新的语料库：一个新的塞尔维亚 - 克罗地亚语综合网络语料库，一个基于塞尔维亚所有大学国家博士论文库中的博士学位论文的高质量语料库，以及同一来源的摘要翻译平行语料库。将通过基于频率的文体测量方法评估新旧语料库的独特性，并对结果进行简要讨论。

    May, 2024

  • Kencorpus: 一个用于自然语言处理任务的肯尼亚斯瓦希里语、多鲁奥语和卢希亚语语料库

    Kencorpus, the first corpus of its kind for low-resource Indigenous African languages, endeavors to fill the gap in the development of Natural Language Processing and Machine Learning datasets for Swahili, Dholuo, and Luhya languages, enabling text and speech data-driven solutions in applications like machine translation, question-answering, and transcription.

    Aug, 2022

  • 南非语地区的多语言机器翻译：开普敦大学 WMT22 系统

    该论文讲述了开普敦大学提交给 WMT22 大规模机器翻译评估竞赛的受限跟踪的情况。该系统是一个单一的多语种翻译模型，可在英语和 8 种南部 / 东南部非洲语言之间进行翻译，并可在特定的非洲语言对之间进行翻译。该研究采用了多种适用于低资源机器翻译的技术，包括重叠 BPE、回译、合成训练数据生成以及在训练过程中增加更多的翻译方向。结果表明，这些技术的价值尤为突出，特别是对于非常少或没有双语训练数据可用的方向。

    Oct, 2022

  • Setswana 和 Sepedi 的低资源语言数据集创建、筛选和分类 -- 扩展摘要

    研究了自然语言处理技术在低资源语言中的应用，提出了用于塞茨瓦纳语和塞班语头条新闻的数据集及其用于新闻主题分类的基线模型，并探索了一种适合低资源语言的数据增强方法以提高分类器性能。

    Mar, 2020

  • 研究低资源语言数据集的创建、整理和分类方法：塞茨瓦纳语和塞彭迪语

    该研究主要介绍了如何创建用于塞茨瓦纳语和塞班语的新闻标题数据集，并探讨了数据增强等方法来提高分类器性能。

    Feb, 2020

  • 跨语言摘要模型与数据集

    本文介绍了使用跨语言文献和维基百科创建的跨语言摘要语料库，在多种语言和方向上建立了多句子摘要数据。作者使用自动指标并进行人类研究，验证了所提出的跨语言摘要任务。最后，作者还用该数据集和多语言预训练模型进行了大量的实验证明其实用性。

    Feb, 2022