CVPRNov, 2018

基于视觉语义嵌入的广义零样本识别

PDF
TL;DR本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。
generalized zero-shot learningsemantic vectorsvisual embeddinggraphical modelbenchmark datasets
发现论文，激发创造
  • 泛零样本学习的语义分离

    本文针对广义零样本学习任务，提出了一种新颖的语义分离框架，使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量，并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明，由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。

    Jan, 2021

  • 泛零样本学习的语义特征提取

    本文提出了一种新的基于语义特征提取的广义零样本学习（SE-GZSL）技术，使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系，从而可以消除由图像特征中包含的与属性无关的干扰信息，通过使用提出的互信息损失和相似性损失函数，证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。

    Dec, 2021

  • SEER-ZSL: 通用零样本学习的语义编码增强表示

    通过创新性的编码器和组合损失函数，本论文介绍了一种双重策略来解决广义零样例学习中的泛化差距，并提出了一套新的评估指标，以更详细地评估结果的可信度和可复现性。

    Dec, 2023

  • 多模态循环一致的广义零样本学习

    本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

    Aug, 2018

  • 使用 GAN 进行视觉数据合成，用于零样本视频分类

    本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

    Apr, 2018

  • 实例自适应原型对比嵌入在广义零样本学习中的应用

    我们提出了一种基于边界的原型对比学习嵌入网络来提高嵌入空间中表示的质量，并提出了一种实例自适应对比损失来实现未知标签的广义表示，实验表明我们的方法在三个基准数据集上优于现有技术，并在广义零样本学习设置下始终获得最佳的未知性能。

    Sep, 2023

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 基于语义的零样本学习视觉嵌入

    提出了一种称为 joint embeddings for zero-shot learning 的方法，通过计算代理任务上的两流网络中的联合图像和文本模型来学习语义基础和丰富的视觉信息，并利用辅助字幕来提高图像和文本表示之间的对齐，从而在多个基准数据集上评估了该方法，在标准的（aPY 上 + 1.6％，FLO 上 + 2.6％）和常规的（AWA2 上 + 2.1％，CUB 上 + 2.2％）零 - shot 识别中提高了现有最先进方法的性能。

    Jan, 2022

  • 广义零样本学习方法综述

    本文综述了广义零样本学习（GZSL）的问题及挑战，展示了一种分层分类方法，并讨论了每个类别中的代表性方法，同时探讨了 GZSL 可用的基准数据集和应用以及未来研究方向。

    Nov, 2020

  • 利用联合嵌入空间进行广义零样本语义分割

    本文提出了一种基于边界感知回归和语义一致性损失实现零样本语义分割任务的方法，并将其与 Apollonius 校准技术相结合，提高了分类器的泛化性能。实验结果表明该方法在标准数据集上实现了最先进的性能表现。

    Aug, 2021