ICCVAug, 2023

Video OWL-ViT：视频中的时间一致性开放世界定位

PDF
TL;DR基于 OWL-ViT 模型，我们通过添加一个 Transformer 解码器来成功将开放世界模型应用于视频以实现开放世界定位，从而实现了更好的时间一致性和更强的开放世界能力。
open-world image modelslocalization in videospre-trained modelsvideo tasksopen-world localization
发现论文，激发创造
  • 使用大型预训练模型进行零样本开放词汇跟踪

    通过重复用大规模预训练模型进行检测和分割，本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型，并在多个评估数据集上取得了强大的性能表现。

    Oct, 2023

  • 针对检索的目标感知视频语言预训练

    本文提出了基于物体感知的 Transformer 模型 Object-aware Transformers，使用边界框和物体标签来引导训练过程，将对象表示法引入视频 - 语言架构中，从而提高了视频文本匹配任务的性能。

    Dec, 2021

  • OmniVL: 图像 - 语言和视频 - 语言任务的基础模型

    OmniVL 提出了一种新的基础模型，它通过使用一种通用架构来支持图像语言和视频语言任务，采用了一种统一的基于 Transformer 的视觉编码器，以此来实现联合图像语言和视频语言的预训练，并展示了这种范式的好处，并且这种模型能够同时支持视觉任务，跨模态任务和多模态理解。

    Sep, 2022

  • OW-VISCap：开放世界视频实例分割与字幕

    开放世界视频实例分割和字幕生成 (OW-VISCap) 是一种联合分割、跟踪和描述以前见过或未见过的视频中的物体的方法。

    Apr, 2024

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 使用合成标题进行超球学习的开放世界检测

    通过将视觉语言模型 (VLMs) 的知识传递进行启发式操作，从而丰富开放词汇的图像描述。同时，采用新的超几何视觉语言学习方法对合成字幕产生的噪音进行缓解，实现了视觉与字幕嵌入之间的层次关系。在各种开放世界检测基准测试 (COCO、LVIS、Object Detection in the Wild、RefCOCO) 上进行了广泛实验，结果表明我们的模型在使用相同的主干网络时，始终优于现有的 GLIP、GLIPv2 和 Grounding DINO 等最先进方法。

    Apr, 2024

  • 区域感知预训练与视觉 Transformer 实现开放式目标检测

    提出了一种区域感知的开放词汇视觉 Transformer（RO-ViT）预训练方法，其中使用区域级别的位置嵌入来代替整个图像位置嵌入，取得了在 LVIS 和 COCO 开放词汇检测基准测试的最佳效果。

    May, 2023

  • 扩展语言图像预训练模型以实现通用视频识别

    本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。

    Aug, 2022

  • 面向检测的图像 - 文本预训练的开放词汇测量

    基于检测导向的图像 - 文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像 - 文本对中学习，我们的方法能够利用对比损失学习到新出现的对象 - 语义线索，在 LVIS 和 COCO 基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

    Sep, 2023

  • 开放世界中的视频实例分割

    提出了第一个开放式视频实例分割 (Open-World Video Instance Segmentation, OW-VIS) 方法 ——OW-VISFormer，它引入了一个新的特征增强机制和一个时空客体性 (Spatio-Temporal Objectness, STO) 模块，并评估了其在开放式实验室下的特性。

    Apr, 2023