本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

Mar, 2022

研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

Sep, 2022

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

本文提出了一种称之为权值平均的方法，可以有效解决训练好的 ASR 模型遗忘旧任务的问题，并在单语和多语 ASR 上实现了高性能。

Oct, 2022

本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

Nov, 2022

该研究提出了一个评估框架，旨在评估神经机器翻译对持续学习新短语的能力，对不同的单词表示进行了单次学习方法的集成，并表明，必须解决这两个挑战才能成功使用双语词典。通过解决这两个挑战，我们能够将翻译新的、罕见的词汇和短语的能力从 30% 提高到 70% 以上，正确的词干甚至达到了 90% 以上。

Feb, 2021

利用最新的端到端语音识别技术，我们提出一种使用通用字符集和网络内自适应机制的多语音种语音识别系统，其可优于单一多语种或多任务学习方法，并可用于代码转换场景。

Nov, 2017

利用来自各种语言的数据，我们提出了一种方法，通过数据增强和优化训练，实现在数十个微调步骤上的增量式学习，我们的增强策略无需保留到以前的训练数据，适用于有隐私约束的情况。

Oct, 2022

论文介绍了跨语言寿命学习（CLL）挑战，其中模型不断进行微调以适应来自不同语言的新数据，分析了不同跨语言持续学习算法的知识保留，累积和泛化能力，并提供了如何测量和平衡不同跨语言持续学习渴求的菜谱。

May, 2022