Oct, 2021

多语言领域自适应翻译：通过适配器解耦语言和领域信息

PDF
TL;DR本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。
adapter layersneural machine translationdomain adaptationparameter-efficientcross-lingual transfer
发现论文，激发创造
  • $m^4Adapter$: 基于元适配器的多语言多领域机器翻译自适应

    本研究提出了一种利用元学习和适配器，将域和语言知识结合起来以适应新的领域和语言对的多语言神经机器翻译模型，在跨语言和领域上取得了更好的性能表现。

    Oct, 2022

  • 神经机器翻译的简单可扩展自适应性

    本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

    Sep, 2019

  • 领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

    本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

    Jun, 2023

  • 基于多语数据选择的神经机器翻译领域通用无监督适应

    本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

    Sep, 2021

  • 预训练多语言神经机器翻译模型的鲁棒领域自适应

    本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

    Oct, 2022

  • 神经机器翻译中低资源域适应的正确配方寻找

    本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

    Jun, 2022

  • 基于词级自适应逐层领域混合的多领域神经机器翻译

    本篇论文提出了使用独立词向量模块和基于词级别注意力机制的领域混合方法来实现多领域神经机器翻译的知识共享和精细化领域特定知识获取，实验结果表明该模型在多项 NMT 任务中表现优秀。

    Nov, 2019

  • 通过词表归纳进行神经机器翻译的领域适应

    本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外 NMT 模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在 20 对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。

    Jun, 2019

  • 神经机器翻译的领域自适应调查

    本文全面调查总结了当前最先进的神经机器翻译领域适应技术，旨在解决场景中特定领域缺乏相应语料库而导致自然语言翻译效果下降的问题。

    Jun, 2018

  • 神经机器翻译的快速领域适应

    本文介绍了一种适应新领域的神经机器翻译（NMT）系统，并展示了在两种语言对上，适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升，而一般领域性能仅略有下降，适应过程快速且不需要重新训练 NMT 模型。

    Dec, 2016