ECCVDec, 2021

促使视觉 - 语言模型实现高效视频理解

PDF
TL;DR本研究提出了一种简单但强大的基准线以有效地适应预训练的 I-VL 模型，并利用其强大的资源 - hungry 视频理解任务的能力进行最小化的训练，通过几个随机向量连续提示向量进行优化，将视频相关任务转化为与预训练目标相同的格式。对于行动识别，动作定位和文本 - 视频检索的 10 个公共基准测试，尽管优化参数显著减少，但在封闭集，少量样本和零样本情况下，我们实现了与现有方法相当或最新的性能，实验上进行了广泛的消融研究以分析关键组件以与静态图像和视频之间的差距。
i-vl pre-trainingjoint visual-textual representationsvideo understanding taskscontinuous prompt vectorstemporal information
发现论文，激发创造
  • Videoprompter: 零 - shot 视频理解的一组基础模型

    本文提出了一种将预训练的判别性视觉 - 语言模型与预训练的生成性视频 - 文本和文本 - 文本模型相结合的框架，在零样本设置中引入了两个关键改进，提高了视觉 - 语言模型的性能，并在视频理解方面展示了一致的改进。

    Oct, 2023

  • 扩展语言图像预训练模型以实现通用视频识别

    本文提出一种简单有效的方法，将预先训练好的语言 - 图像模型直接应用于视频识别中，使用跨帧注意力机制及视频特定提示方案，实现对长时序列的检测，提高了零样本下的准确率。

    Aug, 2022

  • LiteVL：增强空间 - 时间建模的高效视频 - 语言学习

    本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

    Oct, 2022

  • 利用大规模视频转录进展高分辨率视频语言表示

    本文提出了一种高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），它利用一个混合 Transformer 学习丰富的时空特征以及文本特征的交互，取得了 10 个 VL 理解任务和 2 个文本到视觉生成任务的最新结果

    Nov, 2021

  • Vita-CLIP: 基于多模态提示的视频和文本自适应 CLIP

    本文介绍了一种多模态提示学习方案，该方案在单一统一的训练下平衡了监督和零样本学习的表现，并提出了视觉和文本方面的提示方案，通过保持预训练的骨干网络冻结，在保留现有的通用表示的同时实现了最先进的零样本效果。

    Apr, 2023

  • 生成用于开放词汇视频动作识别的动作条件提示

    通过创新地将视频模型与大型语言模型相结合，本研究采用基于行动条件的提示方法来增强文本嵌入的人类先验知识，从而在开放词汇视频动作识别中实现了新的最佳性能，并具有优越的可解释性。

    Dec, 2023

  • 分析视觉语言模型在视频理解任务上的零样本能力

    我们通过对图像文本模型在视频理解任务中的泛化能力进行详细研究，发现这些模型在视频行动识别、视频检索和视频多项选择方面表现出强大性能，对视频字幕能力中等，对视频问答能力较差，这些结果揭示了在避免昂贵的预训练阶段的同时，将基础图像文本模型应用于各种视频任务的益处。

    Oct, 2023

  • 解耦语言预训练引导视觉 - 语言学习

    该论文提出了一种新的方法，使用 Prompt-Transformer 模型，基于语言数据而不是图像 - 文本配对来预测理想 prompts，从而优化了资源密集型视觉语言预训练过程，提高了大语言模型的性能。

    Jul, 2023

  • 应用 VLM 辅助训练提升视频变换器的动作理解能力

    提出了一种利用 Vision Transformers（ViTs）和 Visual Language Models（VLMs）之间的互补优势的 Four-tiered Prompts（FTP）框架，通过改进视觉编码并对齐 VLM 输出，从而实现对视频中人类行为的具体方面的处理，对 Kinetics-400 和 Something-Something V2 数据集上的视频行为理解任务分别达到了 93.8% 和 83.4% 的顶级准确率，超过 VideoMAEv2 分别 2.8% 和 2.6%。

    Mar, 2024

  • VindLU：一种实现视频与语言预训练的有效方法

    该研究论文分析了现代视频和语言（VidL）模型设计的最重要因素，其中包括时空建模、多模态融合、预训练数据选择和细调等，发现视频到文本多模态融合、掩蔽建模目标和图像和视频的联合训练等设计因素对于提高模型效果非常重要，提出了一种名为 VindLU 的有效 VidL 预训练新模型，达到了与现有模型可比甚至更好的性能表现，在多个任务上的性能指标均表现优异。

    Dec, 2022