Nov, 2023

基于渐进语言观察的组合式零样本学习

PDF
TL;DR在这篇论文中，我们提出渐进式基于语言的观察（PLO）方法，通过预测基于预先观察到的原语的组合类别，动态确定较好的原语观察顺序，使模型能够逐步理解图像内容。通过在三个具有挑战性的数据集上进行广泛实验，我们证明了 PLO 方法相比于最先进的方法，具有更好的组合识别能力。
compositional zero-shot learninginteractions between primitivesvarianceprogressive language-based observationspre-observed primitive
发现论文，激发创造
  • 面向组合式零样本学习的语言指导分布促进

    本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能，通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQA 数据集的实验结果表明，PLID 方法相较于其他方法表现更佳。

    May, 2023

  • 复合式零样本识别的因果视角

    描述了一种利用因果思想构建复合泛化的方式，并建议将零样本推理视为查找 “哪种干预导致了图像？”; 提出了一种因果启发的嵌入模型，该模型从相关（混淆）训练数据中学习可视对象的基本部分的分解表示，用于预测属性 - 对象对的新组合。 在两个数据集上进行评估，结果比强基准方法有所改善。

    Jun, 2020

  • 学习图嵌入实现组合式零样本学习

    本研究提出了一种名为 Compositional Graph Embedding（CGE）的图形学习方法，可以实现对已出现的视觉对象和视觉基元状态的组合的识别和理解，进而实现了基于组合的零样本学习，避免了外部知识库的依赖。CGE 不仅可以学习图像特征，合成分类器，还可以学习视觉基元的潜在特征，最终可以进行对未出现过的组合图像识别，相比其他方法，CGE 在 MIT-States 和 UT-Zappos 等数据集上具有更好的性能表现。

    Feb, 2021

  • 基于原始对抗训练的上下文交互用于组合式零样本学习

    通过模块化对抗训练方法来解决复杂交互引起的零样本学习问题，同时采用基于对象相似性的过采样策略以提高目标组合训练数据的处理能力。

    Jun, 2024

  • 迭代学习在大型视觉语言模型中提高组合性

    通过引入一种新的迭代训练算法，以文化传播作为归纳先验，本研究以视觉代理和语言代理之间的 Lewis 信号游戏重新定义了视觉 - 语言对比学习，并通过在训练过程中迭代重置代理权重的方式实现文化传播，使得模型对于合成语言的特性变得更易于学习，达到了在 SugarCrepe 评测中相比标准 CLIP 模型分别提升 4.7% 和 4.0% 的效果。

    Apr, 2024

  • 分解软提示引导融合增强组合式零样本学习

    提出了一种名为 DFSP 的新型框架，它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立，通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示，并在语言和图像分支之间设计了一种跨模式分解融合模块，从而更好地学习它们之间的关系，提高了成对空间中未知构成的反应，从而缩小了已知集和未知集之间的域间隙。实验结果表明，该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。

    Nov, 2022

  • KG-SP: 知识引导的简单基元用于开放世界组合零样本学习

    本文研究 open-world compositional zero-shot learning 领域，提出了一种基于 primitive 预测、使用 external knowledge 估计可行性的模型 KG-SP，并引入 CZSL under partial supervision 的新设置，实现了优于竞争对手的表现。

    May, 2022

  • 学习生成软提示用于组合式零样本学习

    本文提出了一种叫做 CSP 的组成式软提示技术，用于提高大规模预训练视觉 - 语言模型的零样本组成性能；对比已有的方法，CSP 通过训练学习组件而不是固定的预设生词表，可以实现更好的预测表现。

    Apr, 2022

  • 语言在 CLIP 对象 - 属性组合泛化中起着关键作用

    通过研究图像与语言模型 (CLIP) 在不同类型的分布转换下的通用性，重点关注图像与语言模型在新颖的属性 - 对象配对组合中的分类能力。研究表明，使用大规模的训练数据和语言监督可以显著提高视觉 - 语言模型的组合泛化能力。

    Mar, 2024

  • 语言条件下的视觉目标搜索观测模型

    在这项研究中，我们将物体搜索问题视为部分可观察的马尔可夫决策过程（POMDP），其中物体检测器和观察模型中的视觉传感器噪声由基于复杂语言描述的单个深度神经网络确定。通过我们的语言条件观察模型（LCOM），任何物体的语言描述都可以用来生成适当的物体检测器和噪声模型，并且训练 LCOM 仅需要现成的监督图像字幕数据集。我们在模拟环境中与最先进的物体搜索算法进行了实证评估，并证明使用我们的观察模型进行规划可以显著提高平均任务完成率（从 0.46 提高到 0.66），并且比使用固定噪声模型的方法更高效快速地进行物体搜索。我们将该方法应用于 Boston Dynamics Spot 机器人上，在房间范围内处理复杂的自然语言物体描述，并有效地找到物体。

    Sep, 2023