本文提出了一种使用生成模型合成多样性特征来增强零样本学习的新框架,以解决现有方法使用的单一属 性信息无法完全表达样本丰富特征的问题。在四个基准数据集上的实验证明,本方法在性能方面显着优于现有工作。
Dec, 2021
零样本学习(ZSL)旨在根据观察到的类别的语义知识,识别未接触过的新类别,然而,当前基于注意力的模型对于学习图像区域特征时,可能忽视了视觉特征的可转移性和属性定位的独特性。为了解决这些问题,我们提出了一种名为高辨别属性特征学习的创新方法(HDAFL),通过学习属性特征来优化视觉特征以获取有辨识力的视觉嵌入。具体而言,HDAFL 利用多个卷积核自动学习与图像中属性高度相关的辨别性区域,消除图像特征中的不相关干扰。此外,我们引入了基于 Transformer 的属性判别编码器来增强属性之间的辨别能力。同时,该方法采用对比损失来减轻数据集偏差并增强视觉特征的可传递性,从而实现了观察类别和未观察类别之间更好的语义转移。实验结果在三个广泛使用的数据集上验证了 HDAFL 的有效性。
Apr, 2024
通过引入 Dual Relation Mining Network (DRMN) 和 Dual Attention Block (DAB),该研究提出一种提高零样本学习的效果的方法,通过进行视觉 - 语义交互和学习属性之间的语义关系来实现共享语义知识。经过广泛的实验证明,该方法在 CUB,SUN 和 AwA2 三个标准零样本学习基准上取得了最新的最佳表现。
May, 2024
该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络,用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试,实验结果显示该方法明显优于现有最先进的方法。
Mar, 2018
本文提出了一种新的基于语义特征提取的广义零样本学习(SE-GZSL)技术,使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系,从而可以消除由图像特征中包含的与属性无关的干扰信息,通过使用提出的互信息损失和相似性损失函数,证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。
本研究提出了一种名为 TransZero 的基于属性引导的 Transformer 网络,用于零样本学习中的视觉语义交互,以提高视觉特征的可转移性和判别属性定位,并在三个 ZSL 基准测试中取得了最新的最佳结果。
本论文提出了一种基于 Transformer 的 DUET 方法,通过自我监督的多模态学习范式,整合了预训练语言模型(PLMs)的潜在语义知识,实现零样本学习并取得了最先进的性能表现。
Jul, 2022
本文提出了一个相互语义蒸馏网络(MSDN),通过学习属性感知的视觉特征和视觉感知的属性特征,不断地提炼视觉和属性之间的内在语义表示来解决零样本学习中的潜在语义知识推理问题,并在三个数据集上实现了新的最先进性能。
Mar, 2022
本文针对广义零样本学习任务,提出了一种新颖的语义分离框架,使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量,并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明,由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。
Jan, 2021
本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性,在三个常用的零样本学习基准测试上达到了新的最先进效果。
Jul, 2021