CVPRMar, 2022

MSDN: 用于零样本学习的相互语义蒸馏网络

PDF
TL;DR本文提出了一个相互语义蒸馏网络（MSDN），通过学习属性感知的视觉特征和视觉感知的属性特征，不断地提炼视觉和属性之间的内在语义表示来解决零样本学习中的潜在语义知识推理问题，并在三个数据集上实现了新的最先进性能。
zero-shot learninglatent semantic knowledgemutually semantic distillation networkattribute-based visual featuresvisual-based attribute features
发现论文，激发创造
  • 零样本学习的双重关系挖掘网络

    通过引入 Dual Relation Mining Network (DRMN) 和 Dual Attention Block (DAB)，该研究提出一种提高零样本学习的效果的方法，通过进行视觉 - 语义交互和学习属性之间的语义关系来实现共享语义知识。经过广泛的实验证明，该方法在 CUB，SUN 和 AwA2 三个标准零样本学习基准上取得了最新的最佳表现。

    May, 2024

  • 利用语义属性进行归纳零样本学习

    本文提出一种新的传输零样本学习方法，该方法使用生成对抗网络从未见过的特征提取出语义属性，并将其融合到产生模型中，从而捕获未见类别内的细微差异，合成更具辨别能力的特征。在五个标准基准测试中，本方法取得了零样本学习的最新成果。

    Mar, 2023

  • TransZero: 面向零样本学习的属性引导 Transformer

    本研究提出了一种名为 TransZero 的基于属性引导的 Transformer 网络，用于零样本学习中的视觉语义交互，以提高视觉特征的可转移性和判别属性定位，并在三个 ZSL 基准测试中取得了最新的最佳结果。

    Dec, 2021

  • 零样本识别的潜在特征判别学习

    该研究提出了一种能够自动发现显著区域及在增强的空间中学习辨别性语义表征的端到端网络，用于零样本学习中。在两个具有挑战性的零样本学习数据集上测试，实验结果显示该方法明显优于现有最先进的方法。

    Mar, 2018

  • 面向广义零样本学习的渐进语义视觉互适应

    本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。

    Mar, 2023

  • 零样本遥感图像场景分类的深度语义视觉对齐

    我们通过机器自动收集可视属性，并利用转换器中的自注意机制将局部图像区域关联起来，集成背景上下文信息进行预测，以解决远程感知场景分类中的零样本学习问题。通过广泛实验，我们展示了我们的模型在具有挑战性的大规模远程感知场景分类基准上优于其他最先进模型。

    Feb, 2024

  • 广义零样本学习的双特征增强网络

    利用双特征增强网络（DFAN）解决零样本学习中存在的问题，该网络包括对视觉特征和语义特征进行增强的两个模块，借助注意力机制，通过学习属性特征以及解决局部与全局特征之间的冲突来提高属性表示。

    Sep, 2023

  • DUET：对比零样学习的跨模态语义基础

    本论文提出了一种基于 Transformer 的 DUET 方法，通过自我监督的多模态学习范式，整合了预训练语言模型（PLMs）的潜在语义知识，实现零样本学习并取得了最先进的性能表现。

    Jul, 2022

  • 基于视觉 transformer 的多头自注意力机制用于零样本学习

    本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

    Jul, 2021

  • 区域语义对齐网络用于零样本学习

    本文提出了一种利用本地特征将未见类别映射到语义属性的区域语义对齐网络（RSAN）方法，使得将所学类别的知识成功地以区域方式传递给未见类别，并通过语义知识对图像编码器进行属性回归以提取稳健和属性相关的视觉特征，对多个标准 ZSL 数据集的实验验证了该方法的优点，超过了最先进的方法。

    Oct, 2021