使用 EWC 精细调优可以减轻训练数据集中的偏见，同时对于原始训练数据集的遗忘率较低。

Apr, 2020

该研究使用弹性权重整合和不同形式的语言建模技术，通过检查点平均和弹性权重整合优化先前 WMT 测试集的强基准线，并在基于改进的 Transformer 架构的文档级别 LM 和句子级别 Transformer LM 上获得进一步的增益。同时从 SMT lattices 中提取 n-gram 概率，可作为源条件的 n-gram LM。

Jun, 2019

研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

Jun, 2019

本文提出了 EcXTra 方法，使用预训练模型，在 40 种语言间进行多语言微调，使用双向回译来生成合成的语言平行数据，达到了无监督 NMT 的翻译效果。该方法在处理低资源语言上表现出优秀的翻译性能，尤其在英语到哈萨克语的翻译任务上达到了新的最先进水平。

Sep, 2022

本文中，我们提出并测试了一种使用 Emergent Communication 技术，以先前预训练好的多语言模型来改进现代无监督机器翻译系统的方法，特别是对于语料库数据量很小的语言，我们将现代多语言模型嵌入到了一个以视觉为基础的语言游戏中，并通过一个共同目标的任务去训练模型，证明此方法能够提高翻译表现，特别是对波斯语和僧伽罗语这样语言数据量很小的语言有很大的帮助。

Jul, 2022

通过使用两个独立的编码器和局部 GAN、全局 GAN，以提高跨语言翻译，本文通过无监督神经机器翻译方法显著提高了英德，英法和中英翻译任务的效果。

Apr, 2018

弹性变分持续学习与权重保持的混合模型可以有效地缓解灾难性遗忘，并能更好地捕捉模型参数与任务特定数据之间的依赖关系。在五个可分辨任务上进行评估，该模型在领域增量和任务增量学习场景中持续优于现有基线模型。

Jun, 2024

提出了一个基于 Elastic Weight Consolidation 并基于上游任务信息的 Sequential Domain Adaptation 框架，来解决在不同领域上 sentiment analysis 同时训练时 catastrophic forgetting 的问题，并在实验中证明了该框架的有效性。

Jul, 2020

该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

Jun, 2016

本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

Oct, 2017