Jun, 2022

MorisienMT：毛里求斯克里奥尔机器翻译数据集

PDF
TL;DR本文介绍了 MorisienMT 数据集，用于评估毛里求斯克里奥尔语的机器翻译质量。该数据集包括英语和 Morisien、法语和 Morisien 之间的平行语料库以及 Morisien 的单语语料库。我们使用这些数据集作为基线模型并进行了训练和评估。我们公开了我们的数据集用于研究目的，希望这将促进 Morisien 机器翻译的研究。
morisienmtmachine translationmauritian creoleparallel corpusbaseline models
发现论文，激发创造
  • Kreyòl-MT: 构建拉美、加勒比和殖民地非洲克里奥尔语的机器翻译系统

    对于学术研究长期以来忽视的克里奥尔语言，我们提供了到目前为止最大的克里奥尔语机器翻译累积数据集，包括 14.5M 句独特的克里奥尔语句子和平行翻译，其中公开发布的有 11.6M 个；此外，我们还提供了支持 172 个翻译方向的 41 种克里奥尔语言的机器翻译模型，利用这个多样化的数据集，我们的模型在 23 个翻译方向的 34 个中超过了一种专门用于克里奥尔语的模型。

    May, 2024

  • Feriji：法语 - 查尔马汉语平行语料库、词汇表与翻译工具

    该研究介绍了 Feriji，第一个设计用于机器翻译的法语 - 扎尔马语并行语料库和词汇表，这对于解决扎尔马语资源匮乏的问题具有重要意义，研究通过在数据集上微调三个大型语言模型，使其在 BLEU 评估上达到 30.06，同时借助该语料库和模型的人工评估，进一步提高了扎尔马语的流畅度、理解度和可读性，填补了重要的语言差距，促进了非洲土著语言的发展。

    Jun, 2024

  • 面向斯拉南东戈语的通用机器翻译系统

    本研究在于创建一种通用的机器翻译系统以翻译 Surinam 的一种低资源克里奥尔语 ——Sranantongo。为了便于这项研究，我们引入了 SRNcorpus，这是一个由双语荷兰语（nl）和单语 Srn 数据并集组成的语料库，并对多种机器翻译方法进行了实验。我们的研究结果表明，为 Srn 提供了一个强有力的基线机器翻译系统。

    Dec, 2022

  • Ngambay - 法语神经机器翻译 (sba-Fr)

    该研究聚焦于低资源语言，特别关注尼日尔的低资源语言，制定了有效的数据收集方法，构建了第一个 sba-Fr 数据集，并对三个预训练模型进行了优化，结果显示 M2M100 模型在原始数据和原始 + 合成数据上都取得了较高 BLEU 分数，该公开数据集可用于研究目的。

    Aug, 2023

  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • 消除印度机器翻译任务流行数据集中的误译方法

    使用最大的公开可访问的印度语言平行数据集 Samanantar 进行实验，在二种印度语言 Hindi 和 Odia 上构建一个基准神经机器翻译系统，并通过消除数据集中的错误翻译来提高翻译质量，进而发现尽管 ILs-English 和 English-ILs 系统使用相同的数据集进行训练，但 ILs-English 在所有评估指标上的表现更好。

    Jan, 2024

  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • CroissantLLM: 一个真正的法英双语语言模型

    我们介绍了 CroissantLLM，一个在 3T 英语和法语标记集上进行预训练的 13 亿语言模型，为研究和工业界提供了一个在普通个人硬件上运行快速的高性能、完全开源的双语模型。

    Feb, 2024

  • 数据自适应迁移学习用于翻译：海地和牙买加的案例研究

    研究表明，对于低资源机器翻译，多语言转移技术的有效性与训练数据量以及知识共享语言之间的关系有关，当某些语言超过真实数据的阈值时，回译增强方法会适得其反，而跨语言转移则更合适。同时，该研究提出了一种基于规则的法语 - 海地克里奥尔语正字和句法引擎和一种新型的音韵嵌入方法，这些方法使得正字转换在多语言技术中相对于传统方法显著提高效果。在极低资源的牙买加机器翻译中，通过与一种具有正字相似度的转移语言进行代码交换，可以获得 6.63 BLEU 点的优势。

    Sep, 2022

  • JamPatoisNLI: 一份牙买加克里奥尔语自然语言推理数据集

    JamPatoisNLI 是第一个为一种克里奥尔语提供自然语言推理数据集的项目，是探索从大型单语或多语预训练模型进行跨语言转移的有效性的独特工具，因此它是向一个传统上被忽视的语言进行研究并了解跨语言自然语言处理的有用基准。

    Dec, 2022