本研究针对零样本学习领域，将语义信息与属性相关联，通过使用一组关系来利用属性所张成的空间结构，提出了一种方法，在嵌入空间中保留这些关系的目标函数，从而导致嵌入空间的语义性的提高。通过在五个基准数据集上进行广泛的实验评估，我们证明了欲使嵌入空间语义化对零样本学习有益。该方法在标准零样本设置以及更加现实的广义零样本设置上均优于现有技术，同时演示了该方法如何对于对于某个没有属性信息的图像做出近似的语义推断是有用的。

Mar, 2018

本文研究了多语言语境嵌入在零样本跨语言迁移学习上的表现，并发现使用英语进行零样本设置时很难获得可重复的结果和一致的检查点，建议在零样本结果旁边提供oracle分数，通过避免任意差的检查点使结果更一致。

Apr, 2020

本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

Feb, 2022

本研究分析了基于大规模数据的视觉-语言模型的真正零样本能力及其属性基零样本学习能力，评估了现有模型对不同基准测试的性能表现及影响因素。结果表明该模型主要通过识别语言中的类标签实现零样本学习，属性数的变化会显著影响其表现。

Sep, 2022

本篇论文提出一种新的零样本学习范式，其适用于任何格式，并适用于一系列语言任务，如文本分类、常识推理、指代消解和情感分析，并将零样本学习转化为多选任务，从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力，而且显著减少了参数的数量，同时具有高效的训练和部署特点。经实验结果表明，该方法在多个基准测试中表现卓越，且仅使用了 235M 的参数，远小于拥有十亿参数的现有先进模型。

Oct, 2022

本文通过将聚类方法应用于提前训练的语言模型的嵌入空间中，展示了在主题和情感分类数据集上，该方法在无需另作准备的情况下显著提高了零-shot文本分类的性能; 并发现该方法不需要Fine-tuning就可以将文本分类；最后，文章还比较了不同PLM嵌入空间，并发现即使PLM未明确预训练为生成有意义的句子嵌入，它仍然能按主题将文本很好地聚类。

Oct, 2022

本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

Oct, 2022

通过使用大型语言模型（LLMs）生成的类别描述和丰富的细粒度图像分类数据集，我们提出了一种方法来改善视觉-语言模型（VLMs）在细粒度领域的零样本分类性能。通过在训练过程中利用图像-文本监督，我们的方法在鸟类和花卉等新颖类别的零样本分类准确度上平均提高了4-5％。地理先验也被证明对于改善零样本分类同样有效，与视觉特征互补。我们计划发布包含7个数据集的基准测试，以促进未来的零样本识别研究。

Jan, 2024

本论文针对零样本学习中的细粒度分析进行了广泛综述，对现有方法和技术进行了分类并详细分析，总结了基准测试、公开数据集、模型和应用，同时探讨了挑战和未来发展方向。

Jan, 2024

零样本模型在预训练时遗传了一些问题，其中一个特别有害的问题是由于不平衡的网络规模预训练数据导致的标签分布不匹配。我们引入了一种简单且轻量级的方法，通过最优传输来调整预训练模型的预测结果，在广泛的零样本图像和文本分类任务中实验证实了我们的方法能够在准确率上提高4.8%和15.9%的平均值，并在21个数据集中的17个中击败了类似Prior Matching的基线方法。

Apr, 2024