AAAIJul, 2022

通过多模态知识迁移的开放词汇多标签分类

PDF
TL;DR本研究提出一种新的基于开放词汇的跨模态知识迁移框架 (MKT)，利用视觉和语言预训练模型的多模态知识，采用知识蒸馏技术和双流模块来实现多标签分类和多目标识别，并在公开基准数据集上显著优于现有方法。
multi-label zero-shot learningopen-vocabulary based methodsmulti-modal knowledge transfervision and language pre-trainingknowledge distillation
发现论文，激发创造
  • 面向开放词汇多标签分类的基于查询的知识共享

    提出了一种基于查询的知识共享范式，通过预训练的 VLP 模型从输入图像中提取关键的视觉知识，并通过有效的提示池进行鲁棒的标签嵌入，进而在零样本任务中显著提高了标签识别的性能。

    Jan, 2024

  • 通过多模态知识图谱传播识别未知物体

    本论文针对零样本学习任务中多模态的问题，提出了一种基于知识图谱和密集注意力模块的多模态零样本学习框架，实现了对实体更具差异化的语义迁移过程和精细化的知识获取。

    Jun, 2023

  • 开探多模态上下文知识的开放词汇物体检测

    该研究论文探索了多模态背景知识在开放词汇目标检测中的作用，并提出了一种多模态背景知识蒸馏框架，通过从多模态融合转换器中学习上下文知识并应用于学生检测器，取得了显著的提升。

    Aug, 2023

  • 通过视觉语言知识蒸馏实现在 CLIP 上的多模态生成

    通过视觉 - 语言知识蒸馏 (VLKD) 增强双流 VLP 模型，使其具有多模态生成能力，实现开放式视觉问答和图像字幕等多模态生成任务的强零 - shot 性能。

    Mar, 2022

  • OVMR: 多模式参考下的开放词汇识别

    本文通过引用由文本描述和示例图像组成的多模式线索，以不同的角度解决开放词汇识别问题，并提出了一种名为 OVMR 的方法，该方法采用两个创新组件来追求更强的类别线索嵌入。

    Jun, 2024

  • 图像文本：学习可转移的多标签分类适配器

    通过预先训练的视觉 - 语言模型，结合适当的调整和随机扰动方法构建了一个能够自动识别图像标签的全自动流水线，该方法在各种多标签分类任务中显示出优越性能。

    Dec, 2023

  • KD-VLP: 用目标知识蒸馏改善端到端的视觉与语言预训练

    本文提出了一种基于图片格特征和语言信息的端到端多模式表示学习框架，其中使用自监督的对象知识蒸馏以提高跨模态对齐的准确性和效率，并在广泛的视觉和语言任务上取得了竞争性的表现。

    Sep, 2021

  • 开放词汇物体检测的多模式分类器

    本文旨在进行无遮挡多类目标检测的研究，探索使用语言描述、图像样例或两者的组合来指定新颖类别的三种方式，研究者通过采用大型语言模型来生成信息化的语言描述，基于图像样例提供了视觉聚合器，并提出了将语言描述和图像样例信息融合的多模态分类器方法。实验表明，本文提出的基于文本的分类器优于之前 OVOD 方案，基于视觉的分类器表现与文本分类器表现相当，而使用多模态分类器比任一模态更好。

    Jun, 2023

  • 零样本开放词汇分割的扩散模型

    本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

    Jun, 2023

  • 跨模态传递的零样本学习

    该研究提出了一种模型，即使没有针对该对象的训练数据，也能在图像中识别对象，并从无监督的大型文本语料库中获取对未知类别的必要知识，在语言中的分布式信息可以被视为理解物体外观的语义基础。

    Jan, 2013