本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

Feb, 2022

本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

Feb, 2022

本文旨在探究利用两种新的有效的预训练策略（Implicit 和 Explicit pre-training）来改善 PLMs 在不同方面与领域的数据上泛化能力，特别是在零样本情况下进行文本分类的任务。作者通过引入 UTCD 数据集进行评估，证明了该方法在一系列零样本范式的挑战数据集上实现了更好的泛化能力。

May, 2023

本文通过将聚类方法应用于提前训练的语言模型的嵌入空间中，展示了在主题和情感分类数据集上，该方法在无需另作准备的情况下显著提高了零 - shot 文本分类的性能；并发现该方法不需要 Fine-tuning 就可以将文本分类；最后，文章还比较了不同 PLM 嵌入空间，并发现即使 PLM 未明确预训练为生成有意义的句子嵌入，它仍然能按主题将文本很好地聚类。

Oct, 2022

本文挑战传统的生成建模方法，提出较好的判别式方法，实验结果表明，该方法在自然语言处理任务上具有更好的性能，无需复杂的提示即可获得最新的状态 - 良好的零 - shot 结果

Nov, 2022

本文提出了一种渐进式的零样本数据集生成框架（ProGen），该框架利用任务特定模型的反馈通过上下文示例来指导生成新的训练数据，实验结果表明该方法在五个文本分类数据集上有效，并与没有上下文反馈的基线方法相比，只有 1％的合成数据大小就可以达到与其相当或更好的性能。

Oct, 2022

在标准监督学习设置中，假设训练数据和测试数据来自相同的分布（领域）。领域泛化（DG）方法旨在学习一个模型，该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将 DG 扩展到了一个更具挑战性的领域，其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化（据我们所知，这是第一个这样的尝试），其中模型不仅可以在新的领域之间推广，还可以在这些领域中的新类之间推广。我们提出了一种简单的策略，该策略有效地利用了类的语义信息，以使现有的 DG 方法满足零射领域泛化的要求。我们在 CIFAR-10、CIFAR-100、F-MNIST 和 PACS 数据集上评估了所提出的方法，为这个新的研究方向奠定了坚实的基础。

Aug, 2020

本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

Apr, 2021

本文提出了一种名为 SunGen 的噪声鲁棒根据权重重新加权框架来自动构建零 - shot 分类问题中的高质量数据，有效提高了模型的性能和效率。

May, 2022

通过自然语言推理作为通用分类任务，利用较小的 BERT 模型训练出的通用分类器在 33 个数据集上训练，有 389 种不同类别，能在零样本和少样本学习中取得更高的性能。

Dec, 2023