本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Aug, 2019

本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

Jul, 2020

该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

Oct, 2020

本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

Sep, 2018

本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

Jun, 2020

本文提出了一种基于条件神经过程的方法，用于 few-shot 文本分类，通过从其他各种丰富注释的任务中迁移学习，利用梯度信息从基础模型中表示每个任务，并训练一个调整网络来调整一个文本分类器，受任务表示的条件约束，实验结果表明，这种方法在多个 few-shot 任务上的表现优于传统的 fine-tuning、序列迁移学习和最先进的元学习方法。

Jan, 2022

该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。

Jan, 2021

本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。

Nov, 2021

该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

Mar, 2023