零样本学习的隐式和显式注意力

Oct, 2021

Implicit and Explicit Attention for Zero-Shot Learning

Faisal Alamri, Anjan Dutta

TL;DR本文提出了隐式和显式注意机制来解决零样本学习模型中现有偏差问题，其中隐式注意机制采用自监督图像旋转任务来聚焦于特定的图像特征，显式注意机制则借助 Vision Transformer 模型中的多头自注意机制来将图像特征映射到语义空间。实验结果表明，该注意机制的性能得到了验证，其在 AWA2、CUB 和 SUN 等三个流行数据集上的表现均为最佳。

Abstract

Most of the existing zero-shot learning (ZSL) methods focus on learning a compatibility function between the image representation and class attributes. Few others concentrate on learning image representation combining local and global features. However, the existing approaches still fa

zero-shot learning implicit attention mechanism explicit attention mechanism self-supervised image angle rotation task multi-headed self-attention mechanism

发现论文，激发创造

基于视觉 transformer 的多头自注意力机制用于零样本学习

本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

Jul, 2021

零样本学习的简单有效本地化属性表示

本文提出一种利用语义 / 属性空间的区域表示来实现无监督学习的方法，其中区域表示的本地化是隐式的。本方法具有高度的可解释性，能够取得 CUB 和 SUN 数据集上的最新性能以及在 AWA2 数据集上优于一般性能更复杂的方法。

Jun, 2020

面向目标的注视估计用于零样本学习

在零样本学习中，结合由类级属性指导的目标定向注视估计模块（GEM），本文通过预测人眼凝视位置来改善较强的属性定位，同时通过学习任务相关注意力和回归局部属性特征来优化全局图像特征；在实验中验证了该方法的竞争优势以及在属性定位方面的准确性，并表明人类凝视数据集和自动注视估计算法对于高级计算机视觉任务的潜在益处。

Mar, 2021

基于堆叠语义引导的注意力模型用于细粒度零样本学习

通过使用类别语义特征逐步指导视觉特征生成注意力图来加权不同局部区域的重要性，提出了一种新的堆叠语义引导注意力（S2GA）模型，将集成的视觉特征和类别语义特征馈入多类别分类架构中进行端到端训练，实验结果表明该方法在细粒度零样本分类和检索任务中表现出了一致的改进。

May, 2018

零样本识别的潜在特征判别学习

该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络，用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试，实验结果显示该方法明显优于现有最先进的方法。

Mar, 2018

基于渐进语义引导的视觉变形器用于零样本学习

我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

Apr, 2024

语义引导的多注意力区域定位用于零样本学习

本文关注于零样本学习中如何挖掘物体的区分特征，提出了基于语义导向的多注意力定位模型，该模型通过发现物体最区分性的部分实现了零样本学习且不需要任何人工标注。在三个广泛使用的零样本学习基准测试上的综合实验表明，该模型及其提出的方法在很大程度上提高了现有技术水平的效果。同时，该方法对整个物体以及检测到的部分学习了协同的全局和局部特性，基于语义描述对物体进行分类。

Mar, 2019

语义对齐减少偏见的零样本学习

本文提出了一种新的零样本学习方法 ——Semantically Aligned Bias Reducing (SABR) ZSL，旨在通过学习一个潜在空间来解决 hubness 问题，同时通过交叉验证和弱转移约束来减轻示例类别偏移问题，并在三个基准数据集上广泛实验证明，与现有的最先进算法相比，在传统和推广的 ZSL 设置下，性能显著提高了 1.5-9％或 2-14％。

Apr, 2019

基于自训练字典方法的推导式零样本学习

本文提出一种基于双向映射的语义关系建模方案，实现跨模态的知识转移并解决领域转化问题，通过迭代更新使得分类器不断加强预测能力，实验结果在三个基准数据集上显著优于现有方法。

Mar, 2017

区域判别式多标记零样本学习

本文提出了一种基于区域的辨别性保持的多标签零样本分类的替代方法，使用 BiAM 模块有效结合了区域和场景上下文信息，并通过映射区域级特征到类语义并只进行空间汇集来获得图像级别的预测。

Aug, 2021