CVPRMar, 2023

面向广义零样本学习的渐进语义视觉互适应

PDF
TL;DR本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。
generalized zero-shot learningsemantic-visual interactionssemantic disambiguationdual semantic-visual transformer moduleknowledge transferability improvement
发现论文，激发创造
  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 泛零样本学习的语义分离

    本文针对广义零样本学习任务，提出了一种新颖的语义分离框架，使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量，并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明，由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。

    Jan, 2021

  • HSVA: 分层语义视觉自适应用于零样本学习

    本文提出了一种新的分层语义视觉适应（HSVA）框架，其中采用两步适应（结构适应和分布适应）来将语义和视觉领域对齐，本文在四个基准数据集上进行了广泛的实验，证明 HSVA 在常规 ZSL 和广义 ZSL 中都表现出优越的性能。

    Sep, 2021

  • 基于视觉语义嵌入的广义零样本识别

    本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

    Nov, 2018

  • 视觉增强动态语义原型用于生成式零样本学习

    通过充分利用视觉增强知识进入语义条件，我们提出了一种名为 VADS 的新型视觉增强动态语义原型方法，用于增强生成器学习准确的语义 - 视觉映射，实验证明我们的方法在三个知名数据集上取得了卓越的 CZSL 和 GZSL 性能，并且优于其他最先进方法，平均增加了 6.4％、5.9％和 4.2％。

    Apr, 2024

  • 零样本遥感图像场景分类的深度语义视觉对齐

    我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

    Feb, 2024

  • 双进化原型网络用于广义零样本学习

    本文介绍了一种名为 “双重渐进式原型网络（DPPN）” 的方法，用于解决广义零样本学习（GZSL）中的问题，包括域偏移问题、视觉代表性的跨域可转移性和类别可辨别性。DPPN 通过学习属性和类别的两种原型模式来构建视觉表征，从而逐渐提高属性定位准确性和类别区分度，并在四个基准测试上进行了验证。

    Nov, 2021

  • 多模态循环一致的广义零样本学习

    本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

    Aug, 2018

  • 泛零样本学习的语义特征提取

    本文提出了一种新的基于语义特征提取的广义零样本学习（SE-GZSL）技术，使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系，从而可以消除由图像特征中包含的与属性无关的干扰信息，通过使用提出的互信息损失和相似性损失函数，证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。

    Dec, 2021

  • TransZero++：用于零样本学习的跨属性引导变换器

    使用属性引导变压器构建的 TransZero ++ 神经网络通过语义协作学习，从视觉特征中定位每个属性在所给图像中最相关的区域，并学习视觉属性特征，解决零样本学习中头现类别识别问题，取得了三项挑战性的零样本学习基准测试中的最新最好结果。

    Dec, 2021