我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

Apr, 2024

本文提出了一种新的基于分割标签的应对零样本图像语义分割任务的方法 ——ZegFormer，采用无类别分组任务（class-agnostic grouping task）和基于分割标签的零样本分类任务（zero-shot classification task on segments）两个子任务，引入大规模视觉语言模型（如 CLIP），在 PASCAL VOC 和 COCO-Stuff 等数据集上取得了较大的性能提升。

Dec, 2021

本文研究了通用的零样本分割，该方法能够通过将语义空间中的跨类关系应用于视觉特征学习，从而实现新类别的全景、实例和语义分割。我们提出了一种生成模型，在无可见训练数据的情况下，为看不见的类别合成特征，进而实现了在零样本下的全景、实例和语义分割，取得了令人印象深刻的性能。

Jun, 2023

本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

Jun, 2019

本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

Nov, 2018

本文提出了多种不同的零样本学习的算法，包括基于语义属性生成可视特征分类器的深度神经网络，以及一种能够使用未标记数据进行自校准的学习方法，并在所有 ZSL 设置的基准数据集上显著优于现有算法的大量实验结果表明。

Sep, 2019

通过使用冻结的仅包含视觉信息的模型和融合离散文本和语言知识的方式，我们提出了 SimZSS，一种用于开放性词汇的零样本分割的简单框架。在仅使用图像 - 标题对数据集进行训练的情况下，我们的方法利用了视觉表示的质量，并在不到 15 分钟的时间内在 8 个基准数据集中的 7 个上实现了最先进的结果。

Jun, 2024

本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。

Mar, 2023

本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

Apr, 2018

本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

Aug, 2018