CVPRMar, 2021

面向目标的注视估计用于零样本学习

PDF
TL;DR在零样本学习中，结合由类级属性指导的目标定向注视估计模块（GEM），本文通过预测人眼凝视位置来改善较强的属性定位，同时通过学习任务相关注意力和回归局部属性特征来优化全局图像特征；在实验中验证了该方法的竞争优势以及在属性定位方面的准确性，并表明人类凝视数据集和自动注视估计算法对于高级计算机视觉任务的潜在益处。
zero-shot learningvisual-semantic embeddinggaze estimationattribute localizationhuman gaze data
发现论文，激发创造
  • 基于视觉 transformer 的多头自注意力机制用于零样本学习

    本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

    Jul, 2021

  • 零样本学习的隐式和显式注意力

    本文提出了隐式和显式注意机制来解决零样本学习模型中现有偏差问题，其中隐式注意机制采用自监督图像旋转任务来聚焦于特定的图像特征，显式注意机制则借助 Vision Transformer 模型中的多头自注意机制来将图像特征映射到语义空间。实验结果表明，该注意机制的性能得到了验证，其在 AWA2、CUB 和 SUN 等三个流行数据集上的表现均为最佳。

    Oct, 2021

  • 零样本学习的简单有效本地化属性表示

    本文提出一种利用语义 / 属性空间的区域表示来实现无监督学习的方法，其中区域表示的本地化是隐式的。本方法具有高度的可解释性，能够取得 CUB 和 SUN 数据集上的最新性能以及在 AWA2 数据集上优于一般性能更复杂的方法。

    Jun, 2020

  • 泛零样本学习的语义特征提取

    本文提出了一种新的基于语义特征提取的广义零样本学习（SE-GZSL）技术，使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系，从而可以消除由图像特征中包含的与属性无关的干扰信息，通过使用提出的互信息损失和相似性损失函数，证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。

    Dec, 2021

  • 基于视觉语义嵌入的广义零样本识别

    本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

    Nov, 2018

  • 语义引导的多注意力区域定位用于零样本学习

    本文关注于零样本学习中如何挖掘物体的区分特征，提出了基于语义导向的多注意力定位模型，该模型通过发现物体最区分性的部分实现了零样本学习且不需要任何人工标注。在三个广泛使用的零样本学习基准测试上的综合实验表明，该模型及其提出的方法在很大程度上提高了现有技术水平的效果。同时，该方法对整个物体以及检测到的部分学习了协同的全局和局部特性，基于语义描述对物体进行分类。

    Mar, 2019

  • 零样本图像分类中的注视嵌入

    本文提出一种依靠人类凝视作为辅助信息的零样本图像分类方法，通过数据收集范式和提取判别性描述符来构建图像和凝视的兼容性函数，实现了细粒度图像分类和比基准更优秀的零样本分类结果。

    Nov, 2016

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 基于堆叠语义引导的注意力模型用于细粒度零样本学习

    通过使用类别语义特征逐步指导视觉特征生成注意力图来加权不同局部区域的重要性，提出了一种新的堆叠语义引导注意力（S2GA）模型，将集成的视觉特征和类别语义特征馈入多类别分类架构中进行端到端训练，实验结果表明该方法在细粒度零样本分类和检索任务中表现出了一致的改进。

    May, 2018

  • 广义零样本学习在野外物体识别中的实证研究与分析

    本文提出可以解决识别来自已知类别与未知类别的图像的冲突的校准方法，探讨了零样本学习的 generalized zero-shot learning 的问题，并提出了评估模型性能的评价指标。研究结果表明当前模型表现与理想语义嵌入间的差异，强调改进类别语义嵌入对于 GZSL 的重要性。

    May, 2016