Jul, 2023

利用知識圖譜進行零樣本物體無關狀態分類

PDF
TL;DR我们研究了对象状态分类（OSC）作为一种零样本学习问题。我们提出了第一个不依赖于对象类别的对象无关状态分类方法（OaSC），该方法可以在不依赖于对象类别的知识或估计的情况下推断出某个对象的状态。通过在知识图谱（KGs）中组织和结构化知识，结合视觉信息，我们能够推断出在方法的训练集中未遇到的对象 / 状态对的对象状态。一系列实验研究了所提出的方法在各种设置下的性能，并与用于对象属性分类的现有方法进行了比较。实验结果表明，对象类别的知识并不决定其状态的预测。此外，所提出的 OaSC 方法在所有数据集和基准测试中均显著优于现有方法。
object state classificationzero-shot learningobject-agnostic state classificationknowledge graphsvisual information
发现论文，激发创造
  • 视频中学习对象状态变化：一个开放世界的视角

    对象状态变化（OSC）对于视频理解至关重要。我们引入了一种新颖的开放世界表述，用于视频 OSC 问题。我们开发了 VidOSC，一种整体学习方法，利用文本和视觉 - 语言模型提供监督信号来消除手动标注 OSC 训练数据的需要，并从对象中抽象出细粒度的共享状态表示来增强泛化性能。此外，我们提出了 HowToChange，这是第一个用于视频 OSC 定位的开放世界基准，与现有最佳基准相比，其标签空间和注释量增加了一个数量级。实验结果证明了我们方法在传统闭世界和开放世界场景中的有效性。

    Dec, 2023

  • KG-SP: 知识引导的简单基元用于开放世界组合零样本学习

    本文研究 open-world compositional zero-shot learning 领域，提出了一种基于 primitive 预测、使用 external knowledge 估计可行性的模型 KG-SP，并引入 CZSL under partial supervision 的新设置，实现了优于竞争对手的表现。

    May, 2022

  • OSCaR：对象状态字幕和状态变化表示

    通过介绍 Object State Captioning and State Change Representation (OSCaR) 数据集和基准测试，本文旨在解决智能模型在理解和推测物体状态变化方面的挑战，提出了一种新的评估多模态大型语言模型 (MLLMs) 的方法，并表明现有的模型在理解这些变化方面仍需要进一步改进。

    Feb, 2024

  • 高效学习新视觉概念

    本文提出一种新的方法 —— 在最先进的识别模型中加入符号知识图谱，从而提高了模型的识别新物体的准确性。实验结果表明，与现有的少样本分类器相比，该方法的性能更好。

    Jun, 2023

  • 预测物体状态的变化

    提出了解决图像和视频中物体状态变化的问题的第一种方法，通过集成学习的视觉特征和自然语言特征来预测未来可能发生的物体状态变化，从而增强视频理解系统的预测性能。

    May, 2024

  • 通过语义嵌入和知识图谱进行零样本识别

    本研究旨在解决零样本识别问题，基于语义嵌入和分类关系预测视觉分类器，提出了一种基于图卷积网络的方法，并在知识图中学习得到的结果表明，相比于当前的最先进结果，该方法在性能上获得了显著提升。

    Mar, 2018

  • 操作知识图谱全解析

    本研究旨在研究不同构建机制的知识图谱对零样本和少样本动作识别的影响，并提出了一种改进的评估范式来促进对动作识别的知识转移，以提高动作识别分类器的性能。

    Aug, 2020

  • 学习图嵌入实现组合式零样本学习

    本研究提出了一种名为 Compositional Graph Embedding（CGE）的图形学习方法，可以实现对已出现的视觉对象和视觉基元状态的组合的识别和理解，进而实现了基于组合的零样本学习，避免了外部知识库的依赖。CGE 不仅可以学习图像特征，合成分类器，还可以学习视觉基元的潜在特征，最终可以进行对未出现过的组合图像识别，相比其他方法，CGE 在 MIT-States 和 UT-Zappos 等数据集上具有更好的性能表现。

    Feb, 2021

  • 基于常识知识图谱的零样本学习

    使用 TrGCN 结构，从 common sense knowledge graphs 中，学习类别的表示形式，有效地提高了 zero-shot learning 的准确性。

    Jun, 2020

  • 基于知识图谱的上下文驱动视觉对象识别

    通过将语境知识编码到知识图中，提高深度学习方法的鲁棒性，增强物体识别模型对于跨领域和真实世界场景的表现。

    Oct, 2022