该论文介绍了一个名为XTREME的跨语言多任务基准测试，它可以在40种语言和9个任务上评估多语言表示的跨语言泛化能力，研究表明，跨语言模型在句法和句子检索任务上的性能仍有相当大的差距，该基准测试旨在促进跨语言学习方法的研究。

Mar, 2020

本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。

Jan, 2021

通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零-shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强16倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强6倍的性能。

Oct, 2021

本文旨在为多语言学习提供潜在的架构改进，通过开发一种名为Polyglot Prompting的学习框架，利用提示方法为不同的语言和任务学习一个统一的语义空间进行多语言多任务基于提示的学习，以实现跨语言的互助和更全面的实验评估，开创了未来多语言研究的新方向。

Apr, 2022

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用prompt-tuning进行多语言NLU任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning在跨数据集跨语言传递方面比微调表现更好，而且只需调整0.1%到0.3%的参数。此外，分析表明，prompt tuning可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022

本文提出了一种基于多任务数据池的语言模型训练方法，通过对少量未标记的目标任务实例进行最近邻匹配和筛选，以此选择有助于目标任务训练的数据，此方法在数据利用率、性能优化和基于少量训练样本下的效果提升方面表现良好。

Dec, 2022

本文提出 ProFiT 管道，研究 Prompt-Based Finetuning 的跨语言能力，发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning，且在少样本场景下表现出更大的优势。

Jul, 2023

多语言模型中，通过参数高效微调和基于令牌的提示微调，令牌提示微调在所有语言上实现了与或更好的性能，对低资源语言的性能提升更为有效，这一现象与多语言模型的标记化方案有关。

Nov, 2023

通过与只使用英文进行微调的模型相比较，研究发现只使用三种语言进行多语种微调可以显著提高模型在生成式任务上的跨语言转移能力，而在高度结构化的任务上影响较小。

Dec, 2023

将LLaMa适应于Kinyarwanda、Hausa和Luganda等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和LAFT，并在所有任务和语言上表现最佳。

Mar, 2024