Oct, 2020

Tatoeba 翻译挑战：低资源和多语言 MT 的现实数据集

PDF
TL;DR本文介绍了一种新的机器翻译基准，为超过 500 种语言的数千种语言对提供了训练和测试数据，并提供了从该集合创建最先进的翻译模型的工具，旨在促进开放翻译工具和具有更广泛语言覆盖范围的模型的发展。
machine translationlanguage pairstranslation modelslow-resource scenariosdata sets
发现论文，激发创造
  • Taxi1500：1500 种语言文本分类的多语言数据集

    通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

    May, 2023

  • 多语言到英语机器翻译工具、数据和预训练模型

    本文提出三种工具：MTData、NLCodec 和 RTG，设计一个能够从 500 种源语言翻译成英语的多语言神经机器翻译模型，支持语言种类很多，且模型容易下载和使用。

    Apr, 2021

  • FLORES-101 低资源和多语言机器翻译评估基准

    本文介绍了 FLORES-101 评估基准，该数据集由 3001 句从英文维基百科中提取出来的涵盖各种主题和领域的句子，在 101 种语言中由专业翻译人员进行翻译。该数据集可用于评估低资源语言和多对多多语言翻译系统的模型质量。

    Jun, 2021

  • 利用合成目标进行机器翻译

    使用大型预训练模型生成合成目标数据可以提高限定资源环境下机器翻译模型的性能，这种方法可以优于在实际数据上训练模型，效果更好的原因可以归因于模型参数的数量限制和优化效果的提高。

    May, 2023

  • 低资源机器翻译调查

    介绍了低资源机器翻译研究领域的现状，重点是在少量翻译训练数据的情况下制备有用的翻译模型的挑战以及在近期几个共享任务中评估研究者的技术的描述。

    Sep, 2021

  • 多语言聊天数据集：Tagengo

    我们提供了一个高质量的数据集，包含 74 种语言中的超过 70k 个提示 - 回应对，用于训练最先进的开源英语语言模型，以实现多语言对话。在 6 种语言的 MT-Bench 对话基准测试中，我们的多语言模型优于先前的开源语言模型。此外，我们发现在更多多语言数据上进行训练有助于比仅仅在特定语言的数据上进行训练（如日语），从而提高性能。这些结果表明，在大量高质量多语言数据的训练下，实现更易用的语言模型变得必要。

    May, 2024

  • 五种非洲语言低资源神经机器翻译基准

    研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。

    Mar, 2020

  • Aya 数据集：一份用于多语言指导调优的开放获取集合

    本研究针对英语语言数据集的局限性，通过与全球流利的语言使用者合作，建立了覆盖 65 种语言的人工策划指令跟随数据集，并通过模板和翻译现有数据集创建了迄今最广泛的多语言数据集，共包含 5.13 亿个实例。此外，我们还提供 Aya 注释平台、Aya 数据集、Aya 集合和 Aya 评估套件等四个关键资源，而且 Aya 倡议还是一项有价值的参与性研究案例，涉及来自 119 个国家的合作者，我们认为此为未来旨在弥补资源差距的研究合作提供了宝贵的框架。

    Feb, 2024

  • AfroMT: 非洲 8 种语言翻译的预训练策略和可重现基准

    我们提出了 AfroMT，这是一个针对非洲 8 种使用广泛、标准、干净和可重现的机器翻译基准，并开发了诊断系统的一套分析工具，探讨了低资源预训练的可能性，提出了两种基于数据增强的策略，并展示了在 11 种语言预训练的情况下，数据受限情况下比跨语言转移基线提高了 12 BLEU 分数的结果。

    Sep, 2021

  • 不要排除掉单语言说话者：一种众包机器翻译数据的方法

    本文提出了一种新的机器翻译数据集，利用 GIF 作为中介，从单语注释器中收集平行句子，从而降低了需要寻找、训练双语人员的成本，并经过内在和外在评估，发现使用 GIFs 收集的句子确实具有更高的质量。

    Jun, 2021