该论文提出了一种用于提高模型推断效率的数据复用方法 - 数据多路复用。此外开发了预训练的多路复用语言模型 MUX-PLMs，通过三阶段训练和新颖的复用和解复用模块来提高吞吐量和下游任务准确性，MUX-BERT 和 MUX- ELECTRA 在维持一定性能准确性的情况下，分别实现了 2x/5x 推断加速。

Feb, 2023

MULTI-EURLEX 是一个多语言数据集，用于法律文件的主题分类，其中包含 65,000 个欧盟法律，并使用 EUROVOC 分类法进行了注释。 在使用该数据集进行零 - shot 跨语言转移时，发现使用单个源语言对多语言预训练模型进行微调会导致多语言语言知识的严重遗忘，并因此表现出较差的零 - shot 转移结果， 但是通过部分微调等调整策略可以帮助保留预训练模型的跨语言知识，从而显著提高零 - shot 跨语言转移性能。

Sep, 2021

提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

Apr, 2020

本文提出 MAD-X 适配器框架，通过学习模块化的语言和任务表示来实现对任意任务和语言的高移植性和参数有效的转移。在命名实体识别和因果常识推理中定型后，MAD-X 在跨类型多样的语言跨语言转移方面优于最新技术水平，并在问答方面取得具有竞争力的结果。

Apr, 2020

本文介绍了一种多语言交叉编码解码器 (mXEncDec) 方法，以在实例级别融合多种语言对，通过改进实例插值技术跨多种语言改善 WMT 数据集上的机器翻译效果，并证明其能够改善模型的推广性。

Mar, 2022

本文探索了各种数据选择策略，依靠多个度量，利用了渐变嵌入和损失嵌入方法，以提高针对多语言预训练模型的 POS 标记、NER 和 NLI 任务的 Few-shot 迁移的性能。实验证明，所提出的方法始终优于随机数据选择基线，即使仅使用更少的标记数据进行零 - shot 迁移，也能显著提高性能。

Jun, 2022

提出了一种基于自学习的框架，结合目标语言的未标记数据和不确定性评估方法，使用三种不同的不确定性评估方法对跨语种传递的具体情况进行了分析， 并在包括 40 种语言的两个跨语种任务中评估了该框架，其中包括命名实体识别和自然语言推理，并在 NER 和 NLI 方面的平均性能分别超过了 10 F1 和 2.5 准确度得分的基线模型。

Sep, 2021

本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models，并提出一种基于机器学习的方法用于模型选择，该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中，我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言（包括八种低资源语言）选择更好的模型，并且通常可以达到使用目标语言开发数据进行模型选择的结果

Oct, 2020

UDify 是一个多语言多任务模型，可以准确预测 75 种语言中 124 个通用依赖树库的通用词性、形态特征、词形和依赖树，无需任何循环或语言特定组件，并且在跨语言注释方面对低资源语言起到关键作用，并且可以进行零 - shot 学习。

Apr, 2019

本文提出 Hyper-X 模型，它将多任务和多语言学习相结合，并通过适应性生成适配器模块的权重，通过学习结合任务和语言特定的知识，实现对未出现的语言和任务 - 语言组合的零样本迁移，并在新语言的少样本情况下始终产生强大的结果。

May, 2022