本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

Sep, 2017

本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

Jul, 2020

本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

Dec, 2020

本研究提出在零或少量标注数据的情况下，通过自训练预训练语言模型，利用数据丰富的语言资源，提高数据匮乏语言变种的性能，以阿拉伯语序列标注为例，利用仅在现代标准阿拉伯语上微调的语言模型，预测多个方言阿拉伯语的命名实体和词性标注，表明自训练是有效的，并能在极少的标注数据下获得更好的效果。

Jan, 2021

使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Aug, 2019

本研究介绍了一种最先进的基于提示的少样本学习器 ——SFLM，该模型使用自训练技术来对语言模型进行微调，仅依赖于少量未标记的领域内数据，并在句子分类和句子对分类基准任务上优于其他最先进的监督和半监督对手。

Oct, 2021

本文提出了 SeqUST， 一种新颖的不确定性感知自我训练框架，以解决标记数据稀缺性问题并有效利用未标记数据来改善神经序列标注的性能，并在六个基准测试中展现出在低资源场景中超越强基线模型的能力。

Feb, 2023

本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

Apr, 2017

该研究提出了一种生成式框架，用于多个序列标记任务和句子级分类。与以往的判别式方法不同，该模型通过共享自然语言输出空间，自然地融合标签语义，并在任务之间共享知识。该框架具有通用性，可在 few-shot、低资源和高资源任务上表现良好，并在命名实体识别、槽位标记和意图分类等基准测试中展示了这些优势。

Sep, 2020