Mar, 2024

CSCNET：用于组合式零样本学习的特定类别级联网络

PDF
TL;DR这篇论文介绍了一个为组合式零样本学习（CZSL）解决属性和对象（A-O）解缠问题的新框架，名为类别指定级联网络（CSCNet），通过构建级联分支和参数分类器（ParamCls），来提高视觉和语义嵌入之间的匹配，从而取得了优于以往竞争方法的结果。
attribute and objectdisentanglementcompositional zero-shot learningcascaded networkparametric classifier
发现论文，激发创造
  • 学习关注力作为组合式零样本学习中的解缕器

    该论文提出了一种使用交叉注意力作为组合分离器来学习分离概念嵌入的方法，使用地球移动距离作为跨注意力模块中的特征相似度度量，在多个概念概率的基础上提高推理结果，并在三个 CZSL 基准数据集上进行的综合实验表明，该方法在闭合和开放世界设置下都显著优于以前的方法，建立了一个新的最先进技术。

    Mar, 2023

  • 分层视觉基元专家的组合式零样本学习

    通过使用 Composition Transformer（CoT）框架，我们提出了一种简单可扩展的方法来解决组合式零样本学习（CZSL）中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题；CoT 框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入；我们还开发了一种简单的少数类属性增广（MAA）方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡的数据分布所引起的预测偏差；我们的方法在多个基准测试集上达到了最先进的性能，包括 MIT-States，C-GQA 和 VAW-CZSL；此外，我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。

    Aug, 2023

  • 基于上下文和多样性驱动的合成零样本学习中的特异性

    为了更准确地预测未见过的属性 - 物体对并改善在开放世界中的组合过滤，在通常被忽略的特异性水平上考虑属性的多样性和上下文，我们引入了基于上下文和多样性的特异性学习框架用于组合零样本学习 (CDS-CZSL)。在闭世界和开放世界的情景中进行了实验，我们的模型在三个数据集上实现了最先进的结果。

    Feb, 2024

  • 组合式零样本学习的孪生对比嵌入网络

    本文提出了一种新颖的 Siamese 对比嵌入网络（SCEN）方法和状态转移模块（STM），用于解决复杂情况下的无监督学习任务，实验表明该方法在三个基准数据集上均大幅优于现有方法。

    Jun, 2022

  • 学习条件属性，用于组合式零样本学习

    该研究提出了一种基于条件属性嵌入的学习框架来解决组合零样本学习中的属性建模问题，并在实验中取得了较优的表现。

    May, 2023

  • 解耦属性和物体的视觉嵌入

    本研究针对目标属性识别的组合式零样本学习问题，提出了一种新颖的体系结构，用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入，旨在更好地正则化模型的学习，实验结果表明我们的方法在 MIT-States，UT-Zappos 和基于 VAW 的新基准上的性能显著优于现有工作。

    May, 2022

  • 基于原始对抗训练的上下文交互用于组合式零样本学习

    通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题，同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。

    Jun, 2024

  • CSL：无类别约束的结构受限学习在分割中的应用，包括未见到的类别

    通过集成结构约束并提升性能，我们提出了一种与现有方法相结合的插件框架，用于解决跨越三个任务的问题，包括未知类别分割、零样本语义分割和域自适应分割。我们通过两种方案将该框架集成到现有方法中，以提高现有算法在这些任务中的性能。

    Dec, 2023

  • 双重对抗一致语义网络用于广义零样本学习

    本文提出了一种名为 Dual Adversarial Semantics-Consistent Network (DASCN) 的机制，该机制采用双重 GAN 对视觉语义交互传递的问题进行了处理， 并在广义零样本学习 (GZSL) 问题上实现了先前算法所未能完成的任务。

    Jul, 2019

  • 分解软提示引导融合增强组合式零样本学习

    提出了一种名为 DFSP 的新型框架，它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立，通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示，并在语言和图像分支之间设计了一种跨模式分解融合模块，从而更好地学习它们之间的关系，提高了成对空间中未知构成的反应，从而缩小了已知集和未知集之间的域间隙。实验结果表明，该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。

    Nov, 2022