ACLMar, 2021

英语 - 特威语机器翻译平行语料库

PDF
TL;DR本研究提供一份用于英语和 Akuapem Twi 的平行机器翻译训练语料库，其中包含 25,421 组句子对，主要使用 Transformer 为基础的翻译器生成初始的 Akuapem Twi 翻译，并通过由母语为 Akuapem Twi 的人验证和校对以消除翻译错误，同时提供了更高质量的 697 个众包句子，可用于下游自然语言处理任务的评估集。此研究通过 fine-tune transformer 翻译模型在该训练语料库上训练，并在众包测试集上进行性能基准测试，推荐这一数据集用于 Akuapem Twi 机器翻译的进一步训练和评估。
machine translationakuapem twitransformer-based translatorhuman-verified datasetcrowd-sourced dataset
发现论文，激发创造
  • JParaCrawl v3.0：大规模英日平行语料库

    本文介绍了一个新的基于网络的英日平行语料库 JParaCrawl v3.0，其包括超过 2100 万个独特的平行句对，证明它可以提高各种领域机器翻译模型的准确性，并将在将来公开发布。

    Feb, 2022

  • 利用众包进行网络挖掘的日中平行语料库

    使用众包的方法，我们从包含平行文档的双语网站收集了超过 10,000 个 URL 对（平行顶级页面对），并从这些网站创建了一个包含 4.6M 个句对的日语 - 中文平行语料库。我们使用了一个包含 160K 个词对的日语 - 中文双语词典进行文档和句子对齐。随后，我们使用 1.2M 条高质量的日语 - 中文句对训练了一个基于统计语言模型和词汇翻译概率的平行语料库过滤器。我们将在这 4.6M 个句对上训练的模型的翻译准确度与在全球网络挖掘的平行语料库 CCMatrix（12.4M）上训练的模型的准确度进行了比较。尽管我们的语料库只有 CCMatrix 的三分之一大小，但我们发现这两个模型的准确度相当，证实了使用众包进行平行数据的网络挖掘是可行的。

    May, 2024

  • 在卢干达语和英语之间构建平行语料库和训练翻译模型

    本文介绍了一个针对 Luganda 语的 NMT 模型，首次建立 Luganda-English 双语平行语料，并且我们的模型在语言翻译 BLEU 评价中表现出较高的质量，证明为低资源语言建立机器翻译模型的可行性。

    Jan, 2023

  • Twi 的上下文文本嵌入

    本研究提出了第一例为 Twi 或 Akan 开发的预训练变压器语言模型，为命名实体识别、神经机器翻译、情感分析和词性标注等应用领域的进展铺平了道路。通过 ABENA 和 BAKO 等四种不同类型的 BERT 模型，此项研究对 Akuapem 和 Asante 方言的 Twi 语言进行预训练，并通过简单的情感分类示例来展示其使用和开源模型的 Hugging Face 模型库。

    Mar, 2021

  • 商务对话语料库设计

    本文旨在通过引入一个新构建的日英商务会话平行语料库，提高会话文本的机器翻译质量，并分析了该语料库，列举了自动翻译的具有挑战性的实例。同时，本文还试图将语料库添加到机器翻译训练中，并展示了基于该语料库训练的系统的优势。

    Aug, 2020

  • KazParC: 机器翻译用的哈萨克平行语料库

    我们介绍了 KazParC，这是一个用于哈萨克语、英语、俄语和土耳其语机器翻译的并行语料库。KazParC 是首个也是最大的公开可用语料库，包含 371,902 个不同领域的平行句子，是通过人工翻译帮助开发的。我们的研究还延伸到了开发一种名为 Tilmash 的神经机器翻译模型。令人惊讶的是，Tilmash 在某些情况下的性能达到或超过了行业巨头，例如 Google Translate 和 Yandex Translate，由标准评估指标（如 BLEU 和 chrF）衡量。KazParC 和 Tilmash 都可在我们的 GitHub 仓库上以 Creative Commons Attribution 4.0 国际许可证（CC BY 4.0）进行下载。

    Mar, 2024

  • JParaCrawl：大规模基于 Web 的英日平行语料库

    本文介绍了构建并通过相关实验验证了英日平行语料库 JParaCrawl 的优越性以及使用其进行预训练和微调的方法，该方法在特定领域上可达到实例训练模型的水平并缩短训练时间。

    Nov, 2019

  • 联合国平行语料库注释翻译方向

    本研究将 UN 协议语料库中的翻译和原始文本区分开来，通过将问题建模为分类问题，可以达到高达 95％的分类准确性。我们通过为不同语言对派生并注释翻译方向的平行语料库，然后使用各种特征提取方法对数据进行分类。我们比较了不同的方法以及在不同语言中区分翻译和原始文本的能力。注释的语料库是公开可用的。

    May, 2018

  • 原住民语言翻译平行语料库：西班牙语 - 马薩特克语和西班牙语 - 米克斯特克语

    本研究构建了一个西班牙 - 马薩泰克語和西班牙 - 米斯捷克語的平行语料库，通过在预训练的多语言机器翻译模型上，进行微调 Fine-Tune，实现文本翻译任务，对所构建的数据集进行了评估，结果表明此方法特别适用于低语料资源的情况，对于使用少数语言的翻译，构建平行语料库的重要性得到了强调。

    May, 2023

  • EthioMT：适用于低资源埃塞俄比亚语言的平行语料库

    自然语言处理在机器翻译、新闻分类和问答等高资源语种的任务上取得了显著的性能，但对于低资源语种的机器翻译仍有待改善。本文介绍了 EthioMT，一个包含 15 种语言的新的平行语料库，同时收集了一份更为研究充分的语言在埃塞俄比亚的基准数据集，通过使用变压器和微调方法对 23 种埃塞俄比亚语言的新收集语料和基准数据集进行评估。

    Mar, 2024