分解软提示引导融合增强组合式零样本学习

Nov, 2022

分解软提示引导融合增强组合式零样本学习

Decomposed Soft Prompt Guided Fusion Enhancing for Compositional Zero-Shot Learning

Xiaocheng Lu, Ziming Liu, Song Guo, Jingcai Guo

TL;DR提出了一种名为 DFSP 的新型框架，它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立，通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示，并在语言和图像分支之间设计了一种跨模式分解融合模块，从而更好地学习它们之间的关系，提高了成对空间中未知构成的反应，从而缩小了已知集和未知集之间的域间隙。实验结果表明，该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。

Abstract

Compositional zero-shot learning (CZSL) aims to recognize novel concepts formed by known states and objects during training. Existing methods either learn the combined state-object representation, challenging the generalization of unseen compositions, or design two classifiers to ident

zero-shot learning compositional zero-shot learning vision-language models cross-modal decomposed fusion unseen composition recognition

发现论文，激发创造

学习生成软提示用于组合式零样本学习

本文提出了一种叫做 CSP 的组成式软提示技术，用于提高大规模预训练视觉 - 语言模型的零样本组成性能；对比已有的方法，CSP 通过训练学习组件而不是固定的预设生词表，可以实现更好的预测表现。

Apr, 2022

面向组合式零样本学习的语言指导分布促进

本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQA 数据集的实验结果表明，PLID 方法相较于其他方法表现更佳。

May, 2023

DRPT：用于组合式零样本学习的解缨和循环提示调节

本文介绍了一种名为 DRPT 的新型分离和循环提示调整框架，通过将状态和对象原语视为嵌入提示中的可学习词汇标记，并在已知组成物上进行调整，精细地调整提示参数并优化引导空间，从而更好地发挥视觉语言模型在组成零样本学习中的潜力。

May, 2023

Troika：复合零样本学习的多路径跨模态引导

本文针对画面语言模型在组合式零样本学习领域存在的问题，提出了一种基于多路径识别分支的新型组合式零样本学习范式，同时加入跨模态牵引模块，通过大量实验验证，该方法在闭环和开环设置下，均优于现有解决方案。

Mar, 2023

组合式零样本学习的孪生对比嵌入网络

本文提出了一种新颖的 Siamese 对比嵌入网络（SCEN）方法和状态转移模块（STM），用于解决复杂情况下的无监督学习任务，实验表明该方法在三个基准数据集上均大幅优于现有方法。

Jun, 2022

KG-SP: 知识引导的简单基元用于开放世界组合零样本学习

本文研究 open-world compositional zero-shot learning 领域，提出了一种基于 primitive 预测、使用 external knowledge 估计可行性的模型 KG-SP，并引入 CZSL under partial supervision 的新设置，实现了优于竞争对手的表现。

May, 2022

开放世界组合零样学习

本文提出了一种新的模型用于 compositional zero-shot learning，该模型通过评估组合成分的可行性分数，采用余弦相似度来估计视觉特征和组成嵌入之间的相似度，从而实现解决开放世界中的 compositional zero-shot learning 问题的目标。在实验中，该方法表现出了显着的优越性能。

Jan, 2021

学习图嵌入以进行开放世界组合零样本学习

本文提出了一种基于图卷积神经网络的组合余弦图嵌入方法，通过估计每种未知组合的可行性得分，进而提高其在余弦相似度损失函数中的权重，并在开放世界场景中实现了最先进的表现。

May, 2021

基于原始对抗训练的上下文交互用于组合式零样本学习

通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题，同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。

Jun, 2024

分层视觉基元专家的组合式零样本学习

通过使用 Composition Transformer（CoT）框架，我们提出了一种简单可扩展的方法来解决组合式零样本学习（CZSL）中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题；CoT 框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入；我们还开发了一种简单的少数类属性增广（MAA）方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡的数据分布所引起的预测偏差；我们的方法在多个基准测试集上达到了最先进的性能，包括 MIT-States，C-GQA 和 VAW-CZSL；此外，我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。

Aug, 2023