CVPRJun, 2024

对比语言视频时间预训练

PDF
TL;DR通过对比学习，LAVITI 引入了一种新方法来学习长视频中的语言、视觉和时间表示，目标是通过提取未修剪视频中的有意义的时刻来对齐语言、视频和时间特征，并使用可学习的时刻查询来解码视频和时间特征。此外，引入了相对时间嵌入（TE）来表示视频中的时间戳，从而实现时间的对比学习。该方法在计算复杂度和内存占用方面显著不同于传统方法，可以仅使用 8 个 NVIDIA RTX-3090 GPU 在一天内在 Ego4D 数据集上进行训练。在 CharadesEgo 动作识别任务上，我们通过验证该方法实现了最先进的结果。
发现论文，激发创造
  • Video-LaVIT：统一的视频 - 语言预训练与解耦的视觉 - 运动词汇编

    本文介绍了一种用于视频 - 语言预训练的高效视频分解的方法，该方法通过设计良好的分词器将视觉和时间信息离散化为少量的标记，从而使大规模生成式预训练能够统一视频、图像和文本内容。在图像和视频的理解和生成的 13 个多模态基准测试中，我们提出的框架表现出竞争性的性能。

    Feb, 2024

  • LITA：语言教导的时域定位助手

    提出了 Language Instructed Temporal-Localization Assistant (LITA) 方法，通过引入时间标记、SlowFast 标记和强调时序本地化数据，改进了多模态大型语言模型的时序本地化能力，并在 Reasoning Temporal Localization (RTL) 任务和 ActivityNet-RTL 数据集中取得了显著的性能提升。

    Mar, 2024

  • LiteVL：增强空间 - 时间建模的高效视频 - 语言学习

    本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

    Oct, 2022

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • VITATECS：用于视频语言模型的时间概念理解诊断数据集

    通过引入细粒度的自然语言中的时间概念的分类，利用反事实视频描述来解开静态和时间信息之间的相关性，并评估典型的视频语言理解模型，揭示了对于视频语言研究中时间元素的更大重视的需求。

    Nov, 2023

  • 自我中心视频 - 语言预训练

    本文提出了一种新的视频语言预训练（Video-Language Pretraining）方法 ——Egocentric VLP，通过利用新发布的 Ego4D 数据集，分别从 EgoClip，EgoNCE 和 EgoMCQ 三个方向进行探索，最终成功在五个自我中心任务上实现了强大的表现。

    Jun, 2022

  • VindLU：一种实现视频与语言预训练的有效方法

    该研究论文分析了现代视频和语言（VidL）模型设计的最重要因素，其中包括时空建模、多模态融合、预训练数据选择和细调等，发现视频到文本多模态融合、掩蔽建模目标和图像和视频的联合训练等设计因素对于提高模型效果非常重要，提出了一种名为 VindLU 的有效 VidL 预训练新模型，达到了与现有模型可比甚至更好的性能表现，在多个任务上的性能指标均表现优异。

    Dec, 2022

  • LocVTP: 视频文本预训练用于时间定位

    本文提出了一种面向本地化任务的视频文本预训练框架 LocVTP，通过精细对比对齐和上下文感知等机制，提高了其学到的特征的时空推理能力和传递性，实现了在四个下游任务上的最优表现。

    Jul, 2022

  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • VidLA: 视频 - 语言对齐的大规模实现

    我们提出了 VidLA，这是一种用于大规模视频 - 语言对齐的方法，通过在不同时间分辨率上使用一组数据令牌，以层次化的方式捕捉短程和长程的时间依赖关系，并通过简单的双塔架构，使用预训练的图像 - 文本基础模型来提高最终性能。此外，我们利用最近的 LLMs 构建了迄今为止规模最大的视频 - 语言数据集，包含不同长度的视频片段，以帮助在不同时间尺度下提取更好的表示。实验证明，我们的方法在多个检索基准上超过了现有的最先进方法，特别是在较长的视频上，并在分类基准上具有竞争力。

    Mar, 2024