Apr, 2024

从 LLM 到 NMT：借助 Claude 推动低资源机器翻译的发展

PDF
TL;DRAnthropic 在 2024 年 3 月发布的大型语言模型 Claude 3 Opus 在机器翻译方面表现出比其他语言模型更强的能力。虽然我们发现 Claude 在 FLORES-200 上存在数据污染的证据，但我们整理了新的基准数据，证实了 Claude 在对英语进行低资源机器翻译方面的有效性。我们发现 Claude 具有显著的资源效率 - 翻译模型的质量程度取决于语言对的资源水平。最后，我们展示了 LLM 翻译的进展可以被压缩到传统的神经机器翻译 (NMT) 模型中。通过使用 Claude 生成合成数据，我们证明了知识蒸馏在约鲁巴语 - 英语翻译方面推进了最新技术，达到或超过了 NLLB-54B 和 Google 翻译等强基线。
发现论文，激发创造
  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

    Apr, 2023

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023

  • ChatGPT MT：高资源语言竞争力强（但对于低资源语言则不强）

    使用 FLORES-200 基准测试，我们提供了首个针对 204 种语言的实验证据和机器翻译成本分析，发现 GPT 模型在某些高资源语言上接近或超过传统机器翻译模型的性能，但在低资源语言上表现一直落后于传统机器翻译，对于我们覆盖的语言中的 84.1％，ChatGPT 的翻译能力低于传统机器翻译模型水平。我们的分析表明，语言的资源水平是决定 ChatGPT 相对翻译能力的最重要特征，并且暗示 ChatGPT 在低资源语言和非洲语言上处于劣势。

    Sep, 2023

  • 五种非洲语言低资源神经机器翻译基准

    研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。

    Mar, 2020

  • 低资源语言的神经机器翻译：综述

    本文介绍了对低资源语言 NMT（LRL-NMT）的研究进展进行了详细调查，并定量分析了最受欢迎的解决方案，提供了一组指南来选择给定 LRL 数据设置的可能的 NMT 技术。它还呈现了 LRL-NMT 研究领域的完整视图，并提供了进一步增强 LRL-NMT 研究工作的建议清单。

    Jun, 2021

  • 基于大型语言模型的机器翻译的有效消歧

    通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

    Sep, 2023

  • GenTranslate：大型语言模型是生成式跨语音和机器翻译器

    利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

    Feb, 2024

  • 低资源语言的神经机器翻译

    本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译 (NMT) 模型，产生仅使用 7 万个训练数据令人满意的翻译结果。

    Aug, 2017

  • 优质数据到文本生成用于严重资源不足的语言的开箱即用大型语言模型

    大型语言模型可以在研究欠资源语言中通过数据到文本生成来弥补性能差距，但人工评估表明 BLEU 分数相比于英语有所下降，对于评估非任务特定系统其适用性存疑。

    Feb, 2024