AAAIJul, 2022

DUET：对比零样学习的跨模态语义基础

PDF
TL;DR本论文提出了一种基于 Transformer 的 DUET 方法，通过自我监督的多模态学习范式，整合了预训练语言模型（PLMs）的潜在语义知识，实现零样本学习并取得了最先进的性能表现。
发现论文，激发创造
  • 利用语义属性进行归纳零样本学习

    本文提出一种新的传输零样本学习方法，该方法使用生成对抗网络从未见过的特征提取出语义属性，并将其融合到产生模型中，从而捕获未见类别内的细微差异，合成更具辨别能力的特征。在五个标准基准测试中，本方法取得了零样本学习的最新成果。

    Mar, 2023

  • CREST: 跨模式共鸣的证据深度学习对于增强零样本学习

    基于视觉 - 语义对齐和双向跨模态零样本学习方法的研究，通过属性描述和知识传递实现对新类别的识别，应对实际挑战并提高模型的鲁棒性和独特解释能力。

    Apr, 2024

  • TransZero: 面向零样本学习的属性引导 Transformer

    本研究提出了一种名为 TransZero 的基于属性引导的 Transformer 网络，用于零样本学习中的视觉语义交互，以提高视觉特征的可转移性和判别属性定位，并在三个 ZSL 基准测试中取得了最新的最佳结果。

    Dec, 2021

  • 零样本识别的潜在特征判别学习

    该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络，用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试，实验结果显示该方法明显优于现有最先进的方法。

    Mar, 2018

  • 零样本遥感图像场景分类的深度语义视觉对齐

    我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

    Feb, 2024

  • 基于渐进语义引导的视觉变形器用于零样本学习

    我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer（ZSLViT），通过语义嵌入令牌学习改进视觉 - 语义对应关系，发现语义相关的视觉令牌，并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息，从而在零样本学习中实现准确的视觉 - 语义交互作用，我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。

    Apr, 2024

  • 泛零样本学习的语义特征提取

    本文提出了一种新的基于语义特征提取的广义零样本学习（SE-GZSL）技术，使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系，从而可以消除由图像特征中包含的与属性无关的干扰信息，通过使用提出的互信息损失和相似性损失函数，证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。

    Dec, 2021

  • 基于视觉 transformer 的多头自注意力机制用于零样本学习

    本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

    Jul, 2021

  • 基于语义特征合成和竞争学习的零次和少次学习

    本研究提出了一种基于数据合成和竞争双向投影学习的零样本和少样本学习模型，在语义空间和特征空间之间学习了一个鲁棒的投影函数，并将它应用于语义数据的合成和模糊的非监督训练中，取得了最先进的结果。

    Oct, 2018

  • 零样本学习的双重关系挖掘网络

    通过引入 Dual Relation Mining Network (DRMN) 和 Dual Attention Block (DAB)，该研究提出一种提高零样本学习的效果的方法，通过进行视觉 - 语义交互和学习属性之间的语义关系来实现共享语义知识。经过广泛的实验证明，该方法在 CUB，SUN 和 AwA2 三个标准零样本学习基准上取得了最新的最佳表现。

    May, 2024