本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零-shot方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的BLEU分数，并且在非零-shot语言方向上的性能也略有提升。
Nov, 2018
在大规模预训练语言模型上进行fine-tuning可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的few-shot learning表现，并探讨了GPT-3模型优势和局限性。
May, 2020
该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与GPT-3相似的性能，为小型语言模型的成功应用提供了关键因素。
Sep, 2020
本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的40组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。
Dec, 2020
LM-BFF提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种NLP任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF组合的技术在低资源环境下具有显著改进，最高可达30％，平均提高11％。
通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。
Sep, 2021
本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。
Dec, 2021
本文从不同的角度研究PLM的few-shot学习，通过调参后作为生成器合成了大量的新训练样本，使用加权最大似然度量进行训练以鼓励生成器生成分类标签的样本，并使用正则化fine-tuned在小样本和合成样本上取得了比现有few-shot学习方法更好的结果，GLUE基准测试中超过无增加方法5+平均点数和增加方法3+平均点数。
Nov, 2022
该论文介绍了一个用于阿拉伯语的强大的自回归Transformer语言模型套件JASMINE，用于zero和few-shot学习和广泛的NLP任务基准测试，旨在填补该领域在不同语言环境和文化中的问题和缺陷以及在这些模型中潜在的社会偏见、伤害和毒性方面的新基准测试。
Dec, 2022
三种常用方法，即监督微调、监督指令微调和上下文学习，是少样本学习的三种替代方法。本文对这三种方法进行了广泛而系统的比较，测试了六种高低资源语言、三种不同的NLU任务以及各种语言和领域设置。观察结果显示，监督指令微调在性能和资源需求方面具有最佳平衡性。此外，本文还分析了预训练LLM的目标语言适应性，并发现标准适应方法能在表面上提高目标语言生成能力，但经ICL引发的语言理解并未改善且受限，尤其是对于低资源语言而言，得分较低。
Mar, 2024