本研究探讨了领域自适应设置下，使用序列级别知识蒸馏训练小型、内存高效的机器翻译模型的最佳实践。该研究的大规模实证结果在机器翻译领域中（使用三个语种对三个领域进行测试）表明，最佳性能需要两次平衡知识蒸馏，一次使用通用数据，另一次使用具体领域的数据并调整教师。

Mar, 2020

该论文探讨了加速最近邻机器翻译的几种方法，其中介绍了一种简单但有效的缓存策略，避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。

Apr, 2022

本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

Dec, 2021

本文提出了一种通过渐进修剪实现的新颖的领域适应方法 Prune-Tune，用于小样本下的神经机器翻译领域，这种方法可以在不修改模型的情况下减轻过拟合和退化问题。

Dec, 2020

本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

Jul, 2016

本文提出一种双重迭代领域自适应框架，通过多层反向翻译知识传输来提高公共领域的翻译知识的提取效果，并通过将这种转移策略应用于多个不同相似度的领域进行了验证。该框架在中英文和英德文翻译任务中取得了令人满意的实验结果。

Dec, 2019

提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

Aug, 2019

本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法，解决多领域翻译中通用和特定知识的统一建模问题，并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。

Nov, 2019

本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外 NMT 模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在 20 对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。

Jun, 2019

本文提出了一种方法，旨在解决连续学习中的无监督域适应问题，通过修剪实现框架来保留特定于域的知识，并使用一种基于批次标准化的度量方法进行有效推理，取得了良好的性能，同时在防止过去领域的灾难性遗忘方面显著改善。

Apr, 2023