该研究提出了一种基于条件属性嵌入的学习框架来解决组合零样本学习中的属性建模问题,并在实验中取得了较优的表现。
May, 2023
通过使用 Composition Transformer(CoT)框架,我们提出了一种简单可扩展的方法来解决组合式零样本学习(CZSL)中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题;CoT 框架通过底层的自下而上方式提取代表性的物体嵌入,并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入;我们还开发了一种简单的少数类属性增广(MAA)方法,通过混合两张图像和过采样少数类属性来合成虚拟样本,以解决不平衡的数据分布所引起的预测偏差;我们的方法在多个基准测试集上达到了最先进的性能,包括 MIT-States,C-GQA 和 VAW-CZSL;此外,我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。
Aug, 2023
为了更准确地预测未见过的属性 - 物体对并改善在开放世界中的组合过滤,在通常被忽略的特异性水平上考虑属性的多样性和上下文,我们引入了基于上下文和多样性的特异性学习框架用于组合零样本学习 (CDS-CZSL)。在闭世界和开放世界的情景中进行了实验,我们的模型在三个数据集上实现了最先进的结果。
Feb, 2024
通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题,同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。
Jun, 2024
该论文提出了一种使用交叉注意力作为组合分离器来学习分离概念嵌入的方法,使用地球移动距离作为跨注意力模块中的特征相似度度量,在多个概念概率的基础上提高推理结果,并在三个 CZSL 基准数据集上进行的综合实验表明,该方法在闭合和开放世界设置下都显著优于以前的方法,建立了一个新的最先进技术。
Mar, 2023
通过三个精心设计的探索(即,点对点,配对和分级一致性约束),COMprehensive Attribute Exploration(COMAE)绘制了从可见类到不可见类的关系,并利用对比学习全面描绘属性的上下文,最终通过类级约束更有效地学习哈希码,图像表示和视觉属性。在流行的 Zero-shot hashing 数据集上的实验结果表明,COMAE 在特别是具有更多不可见标签类别的场景中优于最先进的哈希技术。
本文提出了一种关注机制的模型以学习适用于未见过的类别识别的属性,在三个常用的零样本学习基准测试上达到了新的最先进效果。
Jul, 2021
本文提出了一种新的模型用于 compositional zero-shot learning,该模型通过评估组合成分的可行性分数,采用余弦相似度来估计视觉特征和组成嵌入之间的相似度,从而实现解决开放世界中的 compositional zero-shot learning 问题的目标。在实验中,该方法表现出了显着的优越性能。
Jan, 2021
通过提出 Multi-Modal Prompt Tuning(MMPT)框架,我们实现了 Open World Compositional Zero-Shot Learning(OW-CZSL)任务的新的最先进结果。在 UT-Zappos 数据集上,MMPT 将 AUC 得分提高到 29.8%,而之前的最好分数为 26.5%。在更具挑战性的 MIT-States 数据集上,MMPT 的 AUC 得分优于当前的最先进方法 1.5 倍。
Dec, 2023
研究了组合零样本学习 (Compositional Zero-Shot Learning, CZSL) 的问题,并提出了一种新方法 CAILA,其中使用结构插座,增加了对 “对象”,“属性” 和 “组合” 的概念的知觉,相对于现有技术,CAILA 在 MIT-States,C-GQA 和 UT-Zappos 数据集上都有两位数的改进。