ACLMar, 2021

通过词汇替换实现多语言机器翻译的连续学习

PDF
TL;DR本研究提出了一种简单的词汇适应方案，以扩大多语言机器翻译模型的语言容量，为多语言机器翻译的高效连续学习铺平了道路。我们的方法适用于大规模数据集，适用于未见过脚本的远程语言，在原始语言对的翻译性能上只有轻微的降低，在仅拥有新语言的单语数据的情况下也提供了具有竞争力的性能。
发现论文，激发创造
  • 多语言神经机器翻译中的迁移学习和动态词汇

    本研究提出了一种神经机器翻译（NMT）模型间的知识转移方法，通过共享动态词汇表来适应新语言，以达到提高翻译性能的目的，并在多种语言方向上进行了实验，结果表明具有良好的性能。

    Nov, 2018

  • 使用双语词典进行神经机器翻译的持续学习

    该研究提出了一个评估框架，旨在评估神经机器翻译对持续学习新短语的能力，对不同的单词表示进行了单次学习方法的集成，并表明，必须解决这两个挑战才能成功使用双语词典。通过解决这两个挑战，我们能够将翻译新的、罕见的词汇和短语的能力从 30% 提高到 70% 以上，正确的词干甚至达到了 90% 以上。

    Feb, 2021

  • 参数高效的鲁棒性全语种持续学习微调

    研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

    Sep, 2022

  • 通过模仿学习拓展多语言机器翻译

    通过模仿学习 imitate learning 的方法扩展大规模多语言神经机器翻译 MNMT 模型，解决了新语言增加后导致性能下降的问题，并改善了翻译性能和解决了当前大规模神经机器翻译模型中常见的复制和偏离问题。

    Nov, 2023

  • 高效升级多语言机器翻译模型以支持更多语言

    本论文提出了三种技术，可以加速新语言的学习并减轻灾难性遗忘，来提高多语言机器翻译模型的效率并最大化旧模型的重用，具体来说，这些技术包括仔细初始化网络、应用学习速率缩放、进行数据上采样。

    Feb, 2023

  • 机器翻译的迭代优化

    提出了一种基于卷积神经网络的翻译方案，它使用关注机制对原句和当前翻译输出进行离散替换预测，可以对先前的错误进行修正，并利用该方案对基于短语的翻译系统进行迭代优化，使其在 WMT15 德语 - 英语翻译中 BLEU 得分提高了 0.4。

    Oct, 2016

  • 探索有监督学习和自监督学习之间的协同作用：迈向多语言机器翻译的下一个 1000 种语言

    通过混合监督和自我监督目标的方法，实现了覆盖数百种语言的多语言机器翻译模型的构建，该方法可在零资源情况下生成高质量翻译，甚至超过低 - 中资源语言的监督翻译质量。

    Jan, 2022

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 从视觉文本表示实现鲁棒性开放词汇翻译

    本文提出了使用视觉文本表示（visual text representations）替代有限的文本嵌入向量（finite set of text embeddings），以建立起使用连续词汇（continuous vocabularies）的翻译模型，以此提高模型的稳健性减少了噪声对模型的影响。实验证明，使用视觉文本表示的模型在小型和大型数据集上实现了与传统文本模型相当或更好的表现。

    Apr, 2021

  • 语言转变下的持续学习研究

    对于语言模型的预训练，更新模型而不是完全重新训练，可以在新数据不断增加时提供显著的收益。本文研究了在语言转移的情况下，当新的数据来自新的语言时，更新语言模型的利与弊。通过将挪威语和冰岛语等数据逐步添加到单语英语语言模型中，我们研究了不同模型规模和学习率计划者的前向传递和后向传递的影响，并发现前向传递主要是积极的且与语言顺序无关，而后向传递则取决于新语言的顺序和特点而可能是积极的或消极的。为了解释这些模式，我们探索了几种语言相似性度量，并发现句法相似性与我们的结果有最好的相关性。

    Nov, 2023