META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

Apr, 2020

本文提出了一种新的元课程学习方法，通过先学习相似领域的课程以避免早期陷入糟糕的局部最优，然后学习各自的课程以提高模型鲁棒性从而改善低资源神经机器翻译领域自适应问题。实验结果表明，这种方法可以提高熟悉和不熟悉领域的翻译性能。

Mar, 2021

本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

May, 2022

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021

本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RMLNMT）能够显著提高模型的领域鲁棒性和适应性，同时包括已知领域和未知领域。

Dec, 2021

本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法，结合 Embeddings 冻结与对抗性损失，能在保持所有语言对的通用领域性能的同时，显著提高处理特定数据领域的性能。

Oct, 2022

本文提出了一种神经机器翻译方法，通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统，从而实现在单个模型中支持多个领域，我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性，发现预先指定领域是必须的，但即使未知也可以达到相当高的翻译质量。

May, 2018

本文研究了模型无关元学习算法（MAML）在低资源金融自然语言理解（NLU）任务中的应用，证明了该算法可使模型快速适应低资源情境并获得最佳性能。

Mar, 2023

本文提出了一种 APT 框架，在神经机器翻译中利用预训练模型的语言知识，该框架包括两个模块：1）动态融合机制，将从通用知识中适应的任务特定特征融合到 NMT 网络中；2）知识蒸馏范式，在 NMT 训练过程中连续学习语言知识。实验结果表明，我们的模型优于强基线和微调对应模型。

Dec, 2019

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019