EMNLPMay, 2022

多语言神经机器翻译中的收敛性统一化

PDF
TL;DR本文介绍了一种名为 LSSD（Language-Specific Self-Distillation）的新型训练策略，该策略可以缓解不同语言对之间的收敛不一致性并帮助 MNMT 模型同时在每种语言对上取得最佳性能。实验结果表明，LSSD 可以显著提高所有语言对的翻译性能，达到了最先进水平。
multilingual neural machine translationconvergence inconsistencylssdlow-resource languageshigh-resource languages
发现论文，激发创造
  • 为多语言机器翻译学习特定语言子网络

    本文提出了 LaSS 方法，采用 LaSS 解决了共同训练多个语言对的性能退化问题，LaSS 利用自己的语言特定子网络为每个语言对学习。在各种变压器体系结构的 IWSLT 和 WMT 数据集上展开全面的实验后发现，LaSS 在 36 种语言对上最多获得 1.2BLEU 的增益，并且在易于扩展到新语言对和零炮击翻译方面表现出强大的泛化性能。LaSS 通过一个 30 种语言对平均为 8.3 BLEU 的零炮击翻译推动性。

    May, 2021

  • 具备语言意识的自监督学习多语言机器翻译

    本文探讨了如何利用自监督学习的方法，在多语言机器翻译任务中实现参数的有利学习，其中采用了基于噪声消除的简单自监督任务，并将其与原有任务同时进行。通过这两种方法的结合，在 8 种和 15 种语言基准测试中分别比 MASS 等三种最先进的自监督学习方法提高了 11.3％和 3.7％的性能。

    Feb, 2023

  • 分布式稳健多语言机器翻译

    本论文提出了一种新的 MNMT 学习目标，基于分布式鲁棒优化，使得这个方法在多种语言对上都可以均衡地表现，并展示了如何实际优化大型翻译语料库。经过广泛实验，证明我们的方法在平均和单个语言翻译表现方面始终优于强基线方法在多对一和一对多的翻译设置下。

    Sep, 2021

  • 多语言神经机器翻译与知识蒸馏

    本文提出一种基于蒸馏的方法来提高多语言机器翻译的准确性，并在数据集上进行了实验，结果表明该方法可以通过训练单独的模型（即老师）来训练多语言模型，这使得一个模型即可具备处理多达 44 种不同语言的能力（且其准确性与单独模型相当甚至更优）。

    Feb, 2019

  • 自蒸馏模型叠加在 200 + 种语言中实现跨语言自然语言理解

    通过将 MT 编码器直接集成到 LLM 主干中，我们通过样本高效的自我蒸馏获得了 MT-LLM，从而将低资源语言与以英语为中心的 LLM 中嵌入的丰富知识相结合，实现了跨语言的多语言语言理解。

    Jun, 2024

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 利用跨语言一致性正则化提升零样本多语言神经机器翻译

    本文介绍了一种跨语言一致性正则化方法 CrossConST，用于在多语言神经机器翻译模型中实现零 - shot 翻译，以实现不同语言之间的普适表示，并提高翻译性能。实验结果证明 CrossConST 能够提高模型的翻译性能并降低句子表示间的差距，为未来的多语言 NMT 研究奠定了基础。

    May, 2023

  • 基于知识蒸馏的多语言神经机器翻译的终身学习

    研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。

    Dec, 2022

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020