ACLMay, 2019

无共享词汇的神经机器翻译模型的有效跨语言转移

PDF
TL;DR文章介绍了一种不需要共享词汇的方法，使用跨语言词嵌入来缓解语言间的词汇不匹配，注入人工噪声，从预训练数据轻松生成合成数据，并在五种低资源翻译任务中将纯 NMT 转移提高了 + 5.1% BLEU，优于多语言联合训练。
transfer learningmultilingual modelneural machine translationcross-lingual word embeddingsynthetic data
发现论文，激发创造
  • 多语言神经机器翻译中的迁移学习和动态词汇

    本研究提出了一种神经机器翻译（NMT）模型间的知识转移方法，通过共享动态词汇表来适应新语言，以达到提高翻译性能的目的，并在多种语言方向上进行了实验，结果表明具有良好的性能。

    Nov, 2018

  • 基于跨语言预训练的零 - shot 神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

    Dec, 2019

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 面向低资源神经机器翻译的迁移学习

    该研究提出了一种转移学习的方法，通过先训练一个高资源语言对以及将一些已学习的参数转移至低资源语言对，来初始化和约束训练，显著提高了 Bleu 分数，并将低资源机器翻译性能接近于强的基于语法的机器翻译系统，超过了其一个语言对的性能，并且用于重新评分可以进一步提高低资源机器翻译的表现。

    Apr, 2016

  • 神经机器翻译跨低资源、相关语言的迁移学习

    基于 Byte Pair Encoding 的转移学习方法对低资源语言进行神经翻译的改进，提高了翻译的质量。

    Aug, 2017

  • 关于单语表示的跨语言转移性

    新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

    Oct, 2019

  • 评估大规模多语言神经机器翻译的跨语种有效性

    本文评估了一个大规模多语言神经机器翻译模型编码器在五个跨语言分类和序列标记任务中的跨语言效果，并展示了零 - shot 转移学习中在四个任务中的增益。

    Sep, 2019

  • 无平行语料的零样本跨语言迁移

    通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

    Oct, 2023

  • 跨语言机器翻译中的词汇表不足：增加语言间表示单词的相似度

    本论文提出了一种新的共享词汇的设计方法，通过定义词级别信息传递路径和使用图网络来融合跨语言的词嵌入，避免了多语言之间文字编码的问题，实验还表明该方法在高低资源多语言机器翻译中可实现显著的 BLEU 分数改进，且只需额外训练少于 1.0％的可训练参数，计算成本增加有限。

    May, 2023

  • 嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

    本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

    Sep, 2023