Nov, 2021

双进化原型网络用于广义零样本学习

PDF
TL;DR本文介绍了一种名为 “双重渐进式原型网络（DPPN）” 的方法，用于解决广义零样本学习（GZSL）中的问题，包括域偏移问题、视觉代表性的跨域可转移性和类别可辨别性。DPPN 通过学习属性和类别的两种原型模式来构建视觉表征，从而逐渐提高属性定位准确性和类别区分度，并在四个基准测试上进行了验证。
generalized zero-shot learningdomain shift problemcross-domain transferabilitycategory discriminabilitydual progressive prototype network
发现论文，激发创造
  • 鹰眼狐耳：通用零样本学习的部分原型网络

    当前的广义零样本学习方法基于单一类别属性向量表示整个图像，这是对新颖类别识别过程的过度简化，因此图像的不同区域可能具有来自不同已见类别的属性并具有不同的主导属性。在此基础上，我们采用一种根本不同的方法：使用对属性信息敏感的预训练视觉语言检测器（VINVL）有效获取区域特征，然后使用学习到的函数将区域特征映射到区域特定属性注意力，并构建类别部件原型。我们在包含 CUB、SUN 和 AWA2 数据集的流行广义零样本学习基准测试中进行实验证明，我们提出的部件原型网络（PPN）与其他流行的基础模型相比取得了有希望的结果。相应的消融研究和分析表明，我们的方法在局部提案可用时具有明显的优势，且非常实用。

    Apr, 2024

  • 面向广义零样本学习的渐进语义视觉互适应

    本文提出了双重语义视觉变换器模块 (DSVTM) 来逐步建立属性原型和视觉特征之间的对应关系，构成了一种逐步的语义 - 视觉相互适应 (PSVMA) 网络，以实现语义消歧和知识可转移性的提高。DSVTM 设计了一种实例驱动的语义编码器，可以学习到面向不同图像的实例中心原型，在匹配语义 - 视觉对时可以重新配对为匹配的对。随后，语义驱动的实例解码器加强了匹配对之间精确的跨域交互，以推动无歧义视觉表示的生成。此外，为了缓解 GZSL 中对已知类的偏见，提出了减轻偏见的损失以追求已知和未知的预测一致性。PSVMA 表现出对其他最先进的方法具有卓越的性能。

    Mar, 2023

  • 使用生成潜在原型模型进行零样本学习

    采用概率生成建模的方法，基于潜在空间中的原型及其语义关系，生成虚拟的未见类实例以解决直接迁移学习中存在的域偏移问题，实验结果表明该模型优于现有零样本学习方法。

    May, 2017

  • 非任务相关知识构建的可传递广义零样本学习表示

    该文提出了一种新的双对比嵌入网络（DCEN），通过语义对齐和实例区分同时学习特定任务和任务无关知识，其中实例区分监督可帮助捕捉视觉低级知识，减轻表示偏差，从而获得可传输的表示。

    Apr, 2021

  • 卷积原型学习用于零样本识别

    本文提出了一种卷积原型学习（CPL）框架，用于零样本识别。通过在任务级别假设分布一致性，CPL 能够平稳地转移知识以识别未见样本。在每个任务内部，通过基于距离的训练机制学习区分性视觉原型。因此，我们可以在视觉空间而不是语义空间中进行识别。

    Oct, 2019

  • 零样本识别的渐进式集成网络

    本研究提出了一种新型的渐进式集成网络模型，采用多个投影标签嵌入来解决零样本图像识别问题，在有标记和无标记的数据上进行训练，为未标记的类提供知识转移，通过渐进式训练框架和预测伪标签来逐步标注最自信的图像，并更新集成网络以扩展到广义零样本学习情境，实验证明提出的模型在多个零样本学习数据集上具有很好的性能。

    May, 2018

  • 基于分离原型网络的泛化类别发现

    提出了一种名为 Decoupled Prototypical Network 的新模型，能够解耦已知和新类别，显式地从标记数据到未标记数据转移类别特定知识，捕捉高级语义信息，并通过语义加权软赋值减轻硬伪标签噪声，该模型在多个基准数据集上表现优于现有技术。

    Nov, 2022

  • 可传递的对比网络用于广义零样本学习

    本文提出了一种新的 Transferable Contrastive Network (TCN) 方法，旨在从源图像中将知识传输到目标类中，以提高 GZSL 识别的鲁棒性。实验证明，该方法优于现有方法。

    Aug, 2019

  • 零样本学习的属性原型网络

    通过集成属性局部化能力的图像表示，建议使用只有类别级别的属性来更好地将基于属性的知识从已知类别转移到未知类别，为此，提出了一种新的零样本表示学习框架，使用属性原型网络共同学习具有区分性全局和局部特征。对于三个零样本学习基准测试，我们的局部增强图像表示方法实现了一个新的最先进水平。

    Aug, 2020

  • 广义零样本学习的双特征增强网络

    利用双特征增强网络（DFAN）解决零样本学习中存在的问题，该网络包括对视觉特征和语义特征进行增强的两个模块，借助注意力机制，通过学习属性特征以及解决局部与全局特征之间的冲突来提高属性表示。

    Sep, 2023