零样本遥感图像场景分类的深度语义视觉对齐

Feb, 2024

零样本遥感图像场景分类的深度语义视觉对齐

Deep Semantic-Visual Alignment for Zero-Shot Remote Sensing Image Scene Classification

Wenjia Xu, Jiuniu Wang, Zhiwei Wei, Mugen Peng, Yirong Wu

TL;DR我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

Abstract

deep neural networks have achieved promising progress in remote sensing (RS) image classification, for which the training process requires abundant samples for each class. However, it is time-consuming and unrealistic to annotate labels for each RS category, given the fact that the RS

deep neural networks zero-shot learning remote sensing image classification attribute annotation dsva model

发现论文，激发创造

区域语义对齐网络用于零样本学习

本文提出了一种利用本地特征将未见类别映射到语义属性的区域语义对齐网络（RSAN）方法，使得将所学类别的知识成功地以区域方式传递给未见类别，并通过语义知识对图像编码器进行属性回归以提取稳健和属性相关的视觉特征，对多个标准 ZSL 数据集的实验验证了该方法的优点，超过了最先进的方法。

Oct, 2021

面向广义零样本学习的渐进语义视觉互适应

本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。

Mar, 2023

基于视觉 transformer 的多头自注意力机制用于零样本学习

本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

Jul, 2021

遥感影像中的细粒度物体识别与零样本学习

研究了一种基于卷积神经网络的零迁移学习模型，该模型利用辅助信息学习一种兼容性函数，实现对未看到类别的识别，并对通过多种辅助信息对新数据集进行了实验验证。

Dec, 2017

重新思考零样本学习：基于条件视觉分类的观点

本文提出了多种不同的零样本学习的算法，包括基于语义属性生成可视特征分类器的深度神经网络，以及一种能够使用未标记数据进行自校准的学习方法，并在所有 ZSL 设置的基准数据集上显著优于现有算法的大量实验结果表明。

Sep, 2019

利用语义属性进行归纳零样本学习

本文提出一种新的传输零样本学习方法，该方法使用生成对抗网络从未见过的特征提取出语义属性，并将其融合到产生模型中，从而捕获未见类别内的细微差异，合成更具辨别能力的特征。在五个标准基准测试中，本方法取得了零样本学习的最新成果。

Mar, 2023

零样本学习的双重关系挖掘网络

通过引入 Dual Relation Mining Network (DRMN) 和 Dual Attention Block (DAB)，该研究提出一种提高零样本学习的效果的方法，通过进行视觉 - 语义交互和学习属性之间的语义关系来实现共享语义知识。经过广泛的实验证明，该方法在 CUB，SUN 和 AwA2 三个标准零样本学习基准上取得了最新的最佳表现。

May, 2024

基于渐进语义引导的视觉变形器用于零样本学习

我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

Apr, 2024

零样本学习的简单有效本地化属性表示

本文提出一种利用语义 / 属性空间的区域表示来实现无监督学习的方法，其中区域表示的本地化是隐式的。本方法具有高度的可解释性，能够取得 CUB 和 SUN 数据集上的最新性能以及在 AWA2 数据集上优于一般性能更复杂的方法。

Jun, 2020

泛零样本学习的语义特征提取

本文提出了一种新的基于语义特征提取的广义零样本学习（SE-GZSL）技术，使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系，从而可以消除由图像特征中包含的与属性无关的干扰信息，通过使用提出的互信息损失和相似性损失函数，证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。

Dec, 2021