CVPRFeb, 2021

学习图嵌入实现组合式零样本学习

PDF
TL;DR本研究提出了一种名为 Compositional Graph Embedding（CGE）的图形学习方法，可以实现对已出现的视觉对象和视觉基元状态的组合的识别和理解，进而实现了基于组合的零样本学习，避免了外部知识库的依赖。CGE 不仅可以学习图像特征，合成分类器，还可以学习视觉基元的潜在特征，最终可以进行对未出现过的组合图像识别，相比其他方法，CGE 在 MIT-States 和 UT-Zappos 等数据集上具有更好的性能表现。
compositional zero-shot learningcompositional graph embeddingvisual primitiveslatent representationsgeneralization
发现论文，激发创造
  • 学习图嵌入以进行开放世界组合零样本学习

    本文提出了一种基于图卷积神经网络的组合余弦图嵌入方法，通过估计每种未知组合的可行性得分，进而提高其在余弦相似度损失函数中的权重，并在开放世界场景中实现了最先进的表现。

    May, 2021

  • 基于变分图嵌入的开放式世界组合零样本学习

    本文提出了一种基于组合变分图自编码器（CVGAE）的方法来学习基本概念及其组成的可行性，以达到零样本分类的目的，并通过图像检索验证了该方法的有效性。

    Apr, 2022

  • 组合式零样本学习的孪生对比嵌入网络

    本文提出了一种新颖的 Siamese 对比嵌入网络（SCEN）方法和状态转移模块（STM），用于解决复杂情况下的无监督学习任务，实验表明该方法在三个基准数据集上均大幅优于现有方法。

    Jun, 2022

  • 复合式零样本识别的因果视角

    描述了一种利用因果思想构建复合泛化的方式，并建议将零样本推理视为查找 “哪种干预导致了图像？”; 提出了一种因果启发的嵌入模型，该模型从相关（混淆）训练数据中学习可视对象的基本部分的分解表示，用于预测属性 - 对象对的新组合。 在两个数据集上进行评估，结果比强基准方法有所改善。

    Jun, 2020

  • KG-SP: 知识引导的简单基元用于开放世界组合零样本学习

    本文研究 open-world compositional zero-shot learning 领域，提出了一种基于 primitive 预测、使用 external knowledge 估计可行性的模型 KG-SP，并引入 CZSL under partial supervision 的新设置，实现了优于竞争对手的表现。

    May, 2022

  • 开放世界组合零样学习

    本文提出了一种新的模型用于 compositional zero-shot learning，该模型通过评估组合成分的可行性分数，采用余弦相似度来估计视觉特征和组成嵌入之间的相似度，从而实现解决开放世界中的 compositional zero-shot learning 问题的目标。在实验中，该方法表现出了显着的优越性能。

    Jan, 2021

  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 分层视觉基元专家的组合式零样本学习

    通过使用 Composition Transformer（CoT）框架，我们提出了一种简单可扩展的方法来解决组合式零样本学习（CZSL）中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题；CoT 框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入；我们还开发了一种简单的少数类属性增广（MAA）方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡的数据分布所引起的预测偏差；我们的方法在多个基准测试集上达到了最先进的性能，包括 MIT-States，C-GQA 和 VAW-CZSL；此外，我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。

    Aug, 2023

  • 基于渐进语言观察的组合式零样本学习

    在这篇论文中，我们提出渐进式基于语言的观察（PLO）方法，通过预测基于预先观察到的原语的组合类别，动态确定较好的原语观察顺序，使模型能够逐步理解图像内容。通过在三个具有挑战性的数据集上进行广泛实验，我们证明了 PLO 方法相比于最先进的方法，具有更好的组合识别能力。

    Nov, 2023

  • 通过语义嵌入和知识图谱进行零样本识别

    本研究旨在解决零样本识别问题，基于语义嵌入和分类关系预测视觉分类器，提出了一种基于图卷积网络的方法，并在知识图中学习得到的结果表明，相比于当前的最先进结果，该方法在性能上获得了显著提升。

    Mar, 2018