ICCVAug, 2023

分层视觉基元专家的组合式零样本学习

PDF
TL;DR通过使用 Composition Transformer（CoT）框架，我们提出了一种简单可扩展的方法来解决组合式零样本学习（CZSL）中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题；CoT 框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入；我们还开发了一种简单的少数类属性增广（MAA）方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡的数据分布所引起的预测偏差；我们的方法在多个基准测试集上达到了最先进的性能，包括 MIT-States，C-GQA 和 VAW-CZSL；此外，我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。
compositional zero-shot learningcomposition transformerobject embeddingsattribute embeddingsminority attribute augmentation
发现论文，激发创造
  • 基于原始对抗训练的上下文交互用于组合式零样本学习

    通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题，同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。

    Jun, 2024

  • 学习条件属性，用于组合式零样本学习

    该研究提出了一种基于条件属性嵌入的学习框架来解决组合零样本学习中的属性建模问题，并在实验中取得了较优的表现。

    May, 2023

  • 学习关注力作为组合式零样本学习中的解缕器

    该论文提出了一种使用交叉注意力作为组合分离器来学习分离概念嵌入的方法，使用地球移动距离作为跨注意力模块中的特征相似度度量，在多个概念概率的基础上提高推理结果，并在三个 CZSL 基准数据集上进行的综合实验表明，该方法在闭合和开放世界设置下都显著优于以前的方法，建立了一个新的最先进技术。

    Mar, 2023

  • 基于上下文和多样性驱动的合成零样本学习中的特异性

    为了更准确地预测未见过的属性 - 物体对并改善在开放世界中的组合过滤，在通常被忽略的特异性水平上考虑属性的多样性和上下文，我们引入了基于上下文和多样性的特异性学习框架用于组合零样本学习 (CDS-CZSL)。在闭世界和开放世界的情景中进行了实验，我们的模型在三个数据集上实现了最先进的结果。

    Feb, 2024

  • 学习图嵌入以进行开放世界组合零样本学习

    本文提出了一种基于图卷积神经网络的组合余弦图嵌入方法，通过估计每种未知组合的可行性得分，进而提高其在余弦相似度损失函数中的权重，并在开放世界场景中实现了最先进的表现。

    May, 2021

  • 开放世界组合零样学习

    本文提出了一种新的模型用于 compositional zero-shot learning，该模型通过评估组合成分的可行性分数，采用余弦相似度来估计视觉特征和组成嵌入之间的相似度，从而实现解决开放世界中的 compositional zero-shot learning 问题的目标。在实验中，该方法表现出了显着的优越性能。

    Jan, 2021

  • 基于视觉 transformer 的多头自注意力机制用于零样本学习

    本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性，在三个常用的零样本学习基准测试上达到了新的最先进效果。

    Jul, 2021

  • KG-SP: 知识引导的简单基元用于开放世界组合零样本学习

    本文研究 open-world compositional zero-shot learning 领域，提出了一种基于 primitive 预测、使用 external knowledge 估计可行性的模型 KG-SP，并引入 CZSL under partial supervision 的新设置，实现了优于竞争对手的表现。

    May, 2022

  • MAC：多属性组合零样本学习的基准

    通过开发多属性组合数据集（MAC），提出了多属性组合学习的解决方案，并提出了 MM 编码器来解析属性和对象的关联，以支持上下文无关学习（CZSL）任务。

    Jun, 2024

  • 组合式零样本学习的孪生对比嵌入网络

    本文提出了一种新颖的 Siamese 对比嵌入网络（SCEN）方法和状态转移模块（STM），用于解决复杂情况下的无监督学习任务，实验表明该方法在三个基准数据集上均大幅优于现有方法。

    Jun, 2022