- 基于原始对抗训练的上下文交互用于组合式零样本学习
通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题,同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。
- MAC:多属性组合零样本学习的基准
通过开发多属性组合数据集(MAC),提出了多属性组合学习的解决方案,并提出了 MM 编码器来解析属性和对象的关联,以支持上下文无关学习(CZSL)任务。
- CSCNET:用于组合式零样本学习的特定类别级联网络
这篇论文介绍了一个为组合式零样本学习(CZSL)解决属性和对象(A-O)解缠问题的新框架,名为类别指定级联网络(CSCNet),通过构建级联分支和参数分类器(ParamCls),来提高视觉和语义嵌入之间的匹配,从而取得了优于以往竞争方法的结 - 基于上下文和多样性驱动的合成零样本学习中的特异性
为了更准确地预测未见过的属性 - 物体对并改善在开放世界中的组合过滤,在通常被忽略的特异性水平上考虑属性的多样性和上下文,我们引入了基于上下文和多样性的特异性学习框架用于组合零样本学习 (CDS-CZSL)。在闭世界和开放世界的情景中进行了 - AAAI揭示组成式零样本学习中的近邻长尾分布
将组合零样本学习转化为相对类别不平衡问题,通过估计视觉偏差作为类别先验来训练分类器,以获取更可辨别的类原型,从而提高模型性能。
- HOMOE:一种基于记忆和组合感知的软混合专家 Hopfield 网络的零样本学习框架
我们的论文提出了一个新的框架,首次将现代霍普菲尔德网络和专家混合模型(HOMOE)相结合,用于对以前未见的对象的组合进行分类。该方法在多个基准测试中取得了最先进的性能,包括 MIT-States 和 UT-Zappos,并且我们还研究了每个 - 基于渐进语言观察的组合式零样本学习
在这篇论文中,我们提出渐进式基于语言的观察(PLO)方法,通过预测基于预先观察到的原语的组合类别,动态确定较好的原语观察顺序,使模型能够逐步理解图像内容。通过在三个具有挑战性的数据集上进行广泛实验,我们证明了 PLO 方法相比于最先进的方法 - GIPCOL: 图注入软指导的组合式零样本学习
我们提出了 GIP-COL(注入图结构的软提示用于组合学习),在提示为基础的学习框架内更好地探索预训练视觉 - 语言模型(VLMs)的组合式零样本学习(CZSL)能力。使用新的提示策略,GIPCOL 在三个 CZSL 基准测试中取得了最新的 - ICCV分层视觉基元专家的组合式零样本学习
通过使用 Composition Transformer(CoT)框架,我们提出了一种简单可扩展的方法来解决组合式零样本学习(CZSL)中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题;CoT 框架通过底层的自下而上方式 - CVPR学习条件属性,用于组合式零样本学习
该研究提出了一种基于条件属性嵌入的学习框架来解决组合零样本学习中的属性建模问题,并在实验中取得了较优的表现。
- CAILA: 概念感知内部层适配器用于组合式零样本学习
研究了组合零样本学习 (Compositional Zero-Shot Learning, CZSL) 的问题,并提出了一种新方法 CAILA,其中使用结构插座,增加了对 “对象”,“属性” 和 “组合” 的概念的知觉,相对于现有技术,CA - 面向组合式零样本学习的语言指导分布促进
本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能,通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQ - DRPT:用于组合式零样本学习的解缨和循环提示调节
本文介绍了一种名为 DRPT 的新型分离和循环提示调整框架,通过将状态和对象原语视为嵌入提示中的可学习词汇标记,并在已知组成物上进行调整,精细地调整提示参数并优化引导空间,从而更好地发挥视觉语言模型在组成零样本学习中的潜力。
- Troika:复合零样本学习的多路径跨模态引导
本文针对画面语言模型在组合式零样本学习领域存在的问题,提出了一种基于多路径识别分支的新型组合式零样本学习范式,同时加入跨模态牵引模块,通过大量实验验证, 该方法在闭环和开环设置下,均优于现有解决方案。
- CVPR学习关注力作为组合式零样本学习中的解缕器
该论文提出了一种使用交叉注意力作为组合分离器来学习分离概念嵌入的方法,使用地球移动距离作为跨注意力模块中的特征相似度度量,在多个概念概率的基础上提高推理结果,并在三个 CZSL 基准数据集上进行的综合实验表明,该方法在闭合和开放世界设置下都 - 分解软提示引导融合增强组合式零样本学习
提出了一种名为 DFSP 的新型框架,它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立,通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示,并在语言和图像分支之间设计了一种跨模式分解融合模块,从而更好地学习它 - 组合式零样本学习的孪生对比嵌入网络
本文提出了一种新颖的 Siamese 对比嵌入网络(SCEN)方法和状态转移模块(STM),用于解决复杂情况下的无监督学习任务,实验表明该方法在三个基准数据集上均大幅优于现有方法。
- CVPR解耦属性和物体的视觉嵌入
本研究针对目标属性识别的组合式零样本学习问题,提出了一种新颖的体系结构,用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入,旨在更好地正则化模型的学习,实验结果表明我们的方法在 MIT-States,UT-Zappos 和 - 基于变分图嵌入的开放式世界组合零样本学习
本文提出了一种基于组合变分图自编码器(CVGAE)的方法来学习基本概念及其组成的可行性,以达到零样本分类的目的,并通过图像检索验证了该方法的有效性。
- 学习图嵌入以进行开放世界组合零样本学习
本文提出了一种基于图卷积神经网络的组合余弦图嵌入方法,通过估计每种未知组合的可行性得分,进而提高其在余弦相似度损失函数中的权重,并在开放世界场景中实现了最先进的表现。