Mar, 2024

$R^2$-Tuning：高效的图像到视频迁移学习用于视频时间绑定

PDF
TL;DR在本文中，我们提出了一种轻量级的 $R^2$-Tuning 模型，通过逆向递归调整的方式，利用 CLIP 模型的各层次信息进行精细的时空建模，以实现视频时序定位的最先进性能。
video temporal groundingfine-grained video understandingreversed recurrent tuning$r^2$-tuningstate-of-the-art performance
发现论文，激发创造
  • VTG-GPT: 使用 GPT 的免调整零样本视频时态定位

    视频时间定位（VTG）目标是根据语言查询从未经修剪的视频中定位特定的时间段。我们提出了 VTG-GPT，这是一种基于 GPT 的零训练或微调的方法，以减少人为偏见和冗余信息，并实现与有监督方法相媲美的性能。

    Mar, 2024

  • 简洁的时间视频定位：多尺度邻近注意力与放大边界检测

    提供了一个无花样的 TVG 模型，借助多尺度邻近注意和缩放边界检测两个核心模块，提高了在具有低语义噪声比的情况下提取最能区分信息的能力。结合端到端训练策略，该模型在不同的 TVG 基准上实现了竞争性的性能，同时具有更快的推理速度和较轻量的模型参数。

    Jul, 2023

  • UniVTG：面向统一的视频 - 语言时序定位

    通过统一视频时序定位（Video Temporal Grounding）的各种标签和任务，提出的 UniVTG 框架在大规模不同标签下能够解锁时序定位预训练，并获得更强的定位能力，例如零样本时序定位。对三项任务（时间区间提取、重要片段检测和视频摘要）在七个数据集上的广泛实验证明了该框架的有效性和灵活性。

    Jul, 2023

  • 高效二维时间视频定位的文本 - 视觉指示

    本文研究了时空视频定位（TVG）的问题，提出了一种新的文本 - 视觉提示框架（TVP）来优化视频编码器和语言编码器，有效地加强交叉模态特征融合并提高了 TVG 的表现。

    Mar, 2023

  • 通过文本图像传播模型进行零样本视频编辑

    一种名为 Ground-A-Video 的新型基于 groundings 的多属性视频编辑框架，通过引入跨帧门控注意力、调制交叉注意力和光流引导反转隐藏特征平滑，实现了无需训练的时间一致的多属性视频编辑，并在编辑准确度和帧一致性方面表现优于其他基准方法。

    Oct, 2023

  • AutoTVG：一种面向时间视频定位的新型视觉语言预训练范式

    AutoTVG 是一种新的视觉 - 语言预训练范式，旨在通过自动注释的未剪辑视频学习语义对齐和边界回归，从而在有限的监督下实现零样本测试中高竞争性的时态视频定位表现。

    Jun, 2024

  • VTG-LLM：将时间戳知识整合到视频 LLMs 中以增强视频时间定位

    基于 VTG 任务，本研究首先介绍了 VTG-IT-120K 这一高质量的综合指导调整数据集，其涵盖了时刻检索、密集视频字幕生成、视频摘要和视频亮点检测等 VTG 任务；其次，我们提出了一个特别设计的用于 VTG 任务的视频 LLM 模型，VTG-LLM，该模型能够有效地将时间戳知识与视觉标记结合起来，并且引入了一种轻量级、高性能的基于槽位的标记压缩方法，以便更好地采样更多的视频帧。全面的实验证实了 VTG-LLM 在各种 VTG 任务中相较于其他视频 LLM 方法的卓越性能。

    May, 2024

  • ViGT：在 Transformer 模型中具有可学习令牌的无需提议的视频定位

    基于视觉和语言描述，本研究提出了一种新的边界回归范式来定位视频中的行为或事件，通过一个可学习的回归标记来预测时间边界，而非跨模态特征，取得了良好的效果并得到了进一步验证。

    Aug, 2023

  • CLIP2Video: 通过 Image CLIP 掌握视频文本检索

    CLIP2Video 网络通过将图像语言预训练模型转移到视频文本检索，采用端到端方式，区别于领先的视频和语言学习方法的多模态交互，我们利用预训练的图像语言模型，进一步简化为两个具体阶段的框架，使其能够在相对较少的数据集上进行训练，并通过 Temporal Difference Block 和 Temporal Alignment Block 来提升多模态相关性，我们在 MSR-VTT，MSVD 和 VATEX 等主要文本到视频和视频到文本检索基准上实现了最新的检索准确性记录。

    Jun, 2021

  • 重新审视基于 CLIP 的图像到视频知识传递的时间建模

    本论文基于 CLIP 模型，提出了一种名为 STAN 的时空建模机制，用于将图像 - 文本预训练模型扩展到视频领域，并在视频文本检索和视频识别等多项任务中展现了其优越性。

    Jan, 2023