提出了一种名为 DFSP 的新型框架，它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立，通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示，并在语言和图像分支之间设计了一种跨模式分解融合模块，从而更好地学习它们之间的关系，提高了成对空间中未知构成的反应，从而缩小了已知集和未知集之间的域间隙。实验结果表明，该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。

Nov, 2022

本文提出了一种叫做 CSP 的组成式软提示技术，用于提高大规模预训练视觉 - 语言模型的零样本组成性能；对比已有的方法，CSP 通过训练学习组件而不是固定的预设生词表，可以实现更好的预测表现。

Apr, 2022

通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题，同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。

Jun, 2024

通过提出 Multi-Modal Prompt Tuning（MMPT）框架，我们实现了 Open World Compositional Zero-Shot Learning（OW-CZSL）任务的新的最先进结果。在 UT-Zappos 数据集上，MMPT 将 AUC 得分提高到 29.8%，而之前的最好分数为 26.5%。在更具挑战性的 MIT-States 数据集上，MMPT 的 AUC 得分优于当前的最先进方法 1.5 倍。

Dec, 2023

将组合零样本学习转化为相对类别不平衡问题，通过估计视觉偏差作为类别先验来训练分类器，以获取更可辨别的类原型，从而提高模型性能。

Dec, 2023

在这篇论文中，我们提出渐进式基于语言的观察（PLO）方法，通过预测基于预先观察到的原语的组合类别，动态确定较好的原语观察顺序，使模型能够逐步理解图像内容。通过在三个具有挑战性的数据集上进行广泛实验，我们证明了 PLO 方法相比于最先进的方法，具有更好的组合识别能力。

Nov, 2023

本文介绍了一种名为 DRPT 的新型分离和循环提示调整框架，通过将状态和对象原语视为嵌入提示中的可学习词汇标记，并在已知组成物上进行调整，精细地调整提示参数并优化引导空间，从而更好地发挥视觉语言模型在组成零样本学习中的潜力。

May, 2023

我们提出了 GIP-COL（注入图结构的软提示用于组合学习），在提示为基础的学习框架内更好地探索预训练视觉 - 语言模型（VLMs）的组合式零样本学习（CZSL）能力。使用新的提示策略，GIPCOL 在三个 CZSL 基准测试中取得了最新的 AUC 结果，包括 MIT-States、UT-Zappos 和 C-GQA 数据集，相比之前的非 CLIP 和基于 CLIP 方法，在封闭和开放设置下都取得了最新的结果。我们的研究结果具有启发意义，可为 CZSL 的有效提示设计提供指导。

Nov, 2023

通过使用 Composition Transformer（CoT）框架，我们提出了一种简单可扩展的方法来解决组合式零样本学习（CZSL）中的上下文问题、视觉特征可辨识性问题和真实世界组合数据的长尾分布问题；CoT 框架通过底层的自下而上方式提取代表性的物体嵌入，并通过顶层的自上而下方式以一种显式建模上下文性的对象引导注意力模块生成代表性的属性嵌入；我们还开发了一种简单的少数类属性增广（MAA）方法，通过混合两张图像和过采样少数类属性来合成虚拟样本，以解决不平衡的数据分布所引起的预测偏差；我们的方法在多个基准测试集上达到了最先进的性能，包括 MIT-States，C-GQA 和 VAW-CZSL；此外，我们还展示了 CoT 在提高视觉辨识能力和解决因不平衡数据分布而引起的模型偏差方面的有效性。

Aug, 2023

本文针对画面语言模型在组合式零样本学习领域存在的问题，提出了一种基于多路径识别分支的新型组合式零样本学习范式，同时加入跨模态牵引模块，通过大量实验验证， 该方法在闭环和开环设置下，均优于现有解决方案。

Mar, 2023