Oct, 2022

SMaLL-100: 为低资源语言引入浅层多语言机器翻译模型

HTML
PDF
TL;DR本篇研究介绍了SMaLL-100这一经过精简的、涵盖了100种语言的多语言机器翻译模型，并证明它在处理低资源语言方面能够超越之前的大规模多语言模型。
发现论文，激发创造
  • 提高低资源语言的零-shot翻译

    本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零-shot方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的BLEU分数，并且在非零-shot语言方向上的性能也略有提升。

    Nov, 2018

  • 重新审视低资源神经机器翻译：以个案研究为例

    本文探讨神经网络机器翻译（NMT）在低资源条件下性能下降的原因，提出适应低资源环境时的注意事项和最佳实践，并在德语-英语和韩语-英语低资源翻译数据集上进行实验，发现经过优化的NMT系统可以在没有使用其他语言辅助数据的情况下，比以前报告的更少数据超越采用词组统计的基于规则的机器翻译（PBSMT），BLEU指标超过4个点。

    May, 2019

  • 利用多语言技术进行非监督式稀有语言机器翻译

    本文研究了针对低资源稀有语种的无监督翻译问题，提出了一个三阶段训练方案的多语种模型，结合了单语和辅助并行数据，取得了明显优于当前无监督基准线的效果。

    Sep, 2020

  • Yorùbá-English 神经机器翻译中领域和重音的影响

    本研究提出了MENYO-20k，这是一个首个多领域平行语料库，专注于干净的约鲁巴语和英语，为基准测试提供标准化的训练集-测试集划分。研究人员提供了几个神经机器翻译基准测试，并将它们与流行的预训练（大规模多语种）机器翻译模型的性能进行了比较。出乎意料的是，他们的模型效果超过了谷歌（+8.7 BLEU）和Facebook M2M（+9.1 BLEU）这样的大规模多语种模型，为未来的研究设定了高质量的基准。

    Mar, 2021

  • 低资源机器翻译调查

    介绍了低资源机器翻译研究领域的现状，重点是在少量翻译训练数据的情况下制备有用的翻译模型的挑战以及在近期几个共享任务中评估研究者的技术的描述。

    Sep, 2021

  • 探索有监督学习和自监督学习之间的协同作用：迈向多语言机器翻译的下一个1000种语言

    通过混合监督和自我监督目标的方法，实现了覆盖数百种语言的多语言机器翻译模型的构建，该方法可在零资源情况下生成高质量翻译，甚至超过低-中资源语言的监督翻译质量。

    Jan, 2022

  • 为下一个千种语言构建机器翻译系统

    描述了我们构建跨越1000个语言翻译的实用机器翻译系统的努力，包括构建干净的数据集、使用监督并行数据训练的大规模多语言模型和单语数据集以及研究评估语言的限制和误差模式。

    May, 2022

  • 全球训练，定制本地化：极简多语翻译应用于濒危语言

    针对严重低资源语言，我们使用两种方法以尽可能高的质量翻译跨语言已知的有限文本，结果表明，首先将大型预训练的多语言模型适应到有限的文本领域/语言，然后再针对严重低资源语言进行调整表现最好。选择最佳的种子句也可以进一步提高翻译质量，同时将种子句数量降至约1000句。

    May, 2023

  • 通过微型多语言并行数据释放零样本多语言翻译的极限：100个样本能走多远？

    通过对细调方法的运用，在少量多语种并行数据的基础上，我们展示了英语为中心模型的零射击能力可以轻松提升。在EC30数据集上，我们使用仅100个多语种并行样本，可以获得高达21.7%的非英语整体改进（870个方向），同时保持对英语为中心方向的能力。我们进一步研究了细调数据的大小效应和转移能力。令人惊讶的是，我们的经验分析表明，即使通过在小型随机采样方向集（10%）中进行细调，也可以实现可比较的整体改进。同时，得到的非英语性能与上限（完全翻译）非常接近。基于其高效性和实用性，我们鼓励社区1）将细调方法作为零射击翻译的强有力基准，2）构建更全面和高质量的多语种并行数据以满足实际需求。

    Jan, 2024

  • 质量还是数量？在低资源翻译中适应大型语言模型的数据规模和多样性

    本文探讨了将大型语言模型（LLMs）适应低资源翻译所需的条件，重点分析了平行数据的重要性和监督微调中的多样性对性能的影响。研究发现，平行数据在预训练和微调过程中对低资源LLM-MT至关重要，而多样性往往导致干扰而非迁移。这些发现具有普遍性，对提升低资源语言的多语种LLM-MT模型具有重要价值。

    Aug, 2024