Apr, 2024

视觉增强动态语义原型用于生成式零样本学习

PDF
TL;DR通过充分利用视觉增强知识进入语义条件，我们提出了一种名为 VADS 的新型视觉增强动态语义原型方法，用于增强生成器学习准确的语义 - 视觉映射，实验证明我们的方法在三个知名数据集上取得了卓越的 CZSL 和 GZSL 性能，并且优于其他最先进方法，平均增加了 6.4％、5.9％和 4.2％。
generative zero-shot learningvisual-augmented knowledgesemantic-visual mappingdynamic semantic prototypestate-of-the-art methods
发现论文，激发创造
  • 演变的语义原型提升生成式零样本学习

    本文提出动态语义原型演化方法（DSP）以对齐经验预定义语义原型并使合成的视觉样本特征更接近真实样本特征，从而提高现有生成 ZSL 方法的性能。

    Jun, 2023

  • 面向广义零样本学习的渐进语义视觉互适应

    本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。

    Mar, 2023

  • 多模态循环一致的广义零样本学习

    本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

    Aug, 2018

  • 使用 GAN 进行视觉数据合成，用于零样本视频分类

    本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

    Apr, 2018

  • 泛零样本学习的语义分离

    本文针对广义零样本学习任务，提出了一种新颖的语义分离框架，使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量，并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明，由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。

    Jan, 2021

  • 基于视觉语义嵌入的广义零样本识别

    本文提出了一种新颖的广义零样本学习（GZSL）方法，它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙，并借助一个新的视觉神谕来量化噪声语义数据的影响，以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示，该方法在语义和视觉监督下均明显优于现有技术。

    Nov, 2018

  • HSVA: 分层语义视觉自适应用于零样本学习

    本文提出了一种新的分层语义视觉适应（HSVA）框架，其中采用两步适应（结构适应和分布适应）来将语义和视觉领域对齐，本文在四个基准数据集上进行了广泛的实验，证明 HSVA 在常规 ZSL 和广义 ZSL 中都表现出优越的性能。

    Sep, 2021

  • 双重对抗一致语义网络用于广义零样本学习

    本文提出了一种名为 Dual Adversarial Semantics-Consistent Network (DASCN) 的机制，该机制采用双重 GAN 对视觉语义交互传递的问题进行了处理， 并在广义零样本学习 (GZSL) 问题上实现了先前算法所未能完成的任务。

    Jul, 2019

  • 从零样本学习到传统监督分类：未见过的视觉数据合成

    该研究提出了一种新的零样本学习框架，并基于 Unseen Visual Data Synthesis 算法，利用语义属性有效地合成未见过的视觉特征，以解决实际应用中缺乏带标注样本的问题，并证实其能够显著提高现有技术水平。

    May, 2017

  • 基于生成回放的动态 VAE 模型实现持续零样本学习

    本文提出了一种新的继续零样本学习模型 (DVGR-CZSL)，通过生成式回放来防止灾难性遗忘，该模型与先前学习过的类一起更新。实验证明，这种混合模型在几个数据集中优于基线，能够有效地进行任务顺序学习，并且在零样本学习中具有优越性。

    Apr, 2021