多源跨语言模型迁移：学习共享的内容
介绍了一种名为 CLP-Transfer 的跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到一个新的目标语言，实现了资源高效的训练，同时解决了资源不足的语言之间的表现差距问题，并比单纯的跨语言传输要好。
Jan, 2023
本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。
Jul, 2022
本论文提出了一种新的跨语言转移提示方法 In-CLT, 在源语言和目标语言结合的情况下构建演示例子，证明在多语言基准测试中，这种提示方法不仅可以提高跨语言传递的可行性，而且在推理任务中展现出了显著的性能提升，平均比以前的跨语言转移方法提高了 10 到 20 个百分点，而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。
May, 2023
本文通过比较跨语言转移、翻译方法和无数据训练的三种方法，在法语和德语的临床领域中执行医学命名实体识别，并在医学 NER 测试集上进行了广泛实验，表明翻译方法可以实现与跨语言转移相似的性能，但需要更加认真地设计。
Jun, 2023
研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。
Mar, 2020
本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。
Feb, 2022
通过提出一个联合利用多语言预训练语言模型以及无标注数据进行的知识转移的新型跨语言转移问题 FreeTransfer-X，并在强神经机器翻译方法上作出显著改进，该方法不仅可降低标注成本，保护隐私标签，还能够轻松部署且兼容不同的网络结构。
Jun, 2022
论文介绍了跨语言寿命学习（CLL）挑战，其中模型不断进行微调以适应来自不同语言的新数据，分析了不同跨语言持续学习算法的知识保留，累积和泛化能力，并提供了如何测量和平衡不同跨语言持续学习渴求的菜谱。
May, 2022
大型语言模型（LLMs）在提高高资源编程语言的开发者生产力方面表现出色。然而，许多低资源编程语言由于缺乏标记样本而无法受益于 LLMs，本研究通过使用源语言数据来提高目标语言的模型性能，并针对 4 个任务进行了广泛实验，以探讨交叉语言迁移学习的工作原理和最佳选择源语言的方式。
Oct, 2023