AAAIMar, 2021

神经机器翻译领域适应的元课程学习

PDF
TL;DR本文提出了一种新的元课程学习方法，通过先学习相似领域的课程以避免早期陷入糟糕的局部最优，然后学习各自的课程以提高模型鲁棒性从而改善低资源神经机器翻译领域自适应问题。实验结果表明，这种方法可以提高熟悉和不熟悉领域的翻译性能。
meta-learningneural machine translationdomain adaptationlow-resourcecurriculum learning
发现论文，激发创造
  • Few-Shot NMT 自适应元学习

    META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

    Apr, 2020

  • 神经机器翻译中领域自适应的课程学习

    介绍了一种课程学习方法，将通用的神经机器翻译模型适应于特定领域，实验结果表明，在两个领域和两种语言对中，该方法始终优于基准模型。

    May, 2019

  • 机器翻译中提高领域鲁棒性和领域适应性

    本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RMLNMT）能够显著提高模型的领域鲁棒性和适应性，同时包括已知领域和未知领域。

    Dec, 2021

  • MetaMT, 一种利用多个领域数据的元学习方法，用于低资源机器翻译

    通过操纵训练数据可得到鲁棒的用于 MT 的神经模型。

    Dec, 2019

  • 神经机器翻译多域课程学习

    本研究利用实例级域相关特征和自动构建培训计划的方式，同时为多领域进行数据选择；经过大规模实验，证明多领域计划能达到或超过单独培训的性能，并带来实质收益。

    Aug, 2019

  • 低资源神经机器翻译元学习

    本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配， 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

    Aug, 2018

  • Epi-Curriculum: 短期课程学习低资源领域调适在神经网络机器翻译中

    神经机器翻译模型在新领域上的性能仍然较差，本研究提出了一种名为 Epi-Curriculum 的新方法来解决低资源域适应问题，该方法结合了新的经验教学框架和去噪课程学习，通过使编码器 / 解码器与经验不足的解码器 / 编码器进行经验性训练，增强了模型对领域转移的鲁棒性，去噪课程学习则通过逐渐引导学习过程从简单到更困难的任务，进一步提高了模型的适应性。实验结果表明 Epi-Curriculum 提高了模型在可见和不可见领域的鲁棒性和适应性，我们的经验性训练框架增强了编码器和解码器对领域转移的鲁棒性。

    Sep, 2023

  • 元学习用于多领域文本挖掘的神经语言模型的微调

    本文提出了一种名为 Meta Fine-Tuning (MFT) 的有效学习过程，该过程可作为元学习器解决多个相似的自然语言处理任务，以获取高度可转移的知识，并通过优化一系列新颖的领域破坏损失函数来鼓励语言模型对领域不变表示进行编码。实验证明，MFT 对于小样本学习具有很大的用途。

    Mar, 2020

  • 神经机器翻译的领域自适应调查

    本文全面调查总结了当前最先进的神经机器翻译领域适应技术，旨在解决场景中特定领域缺乏相应语料库而导致自然语言翻译效果下降的问题。

    Jun, 2018

  • 通过词表归纳进行神经机器翻译的领域适应

    本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外 NMT 模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在 20 对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。

    Jun, 2019