CVPRDec, 2022

Cap4Video: 文本 - 视频检索中辅助字幕的作用

PDF
TL;DR本文提出了一种基于 zero-shot video captioning 和 cross-modal feature interaction 的 text-video retrieval 方法，即 Cap4Video，该方法通过增强视频表示和 Input data、Intermediate feature interaction、Output score 三种方式来利用生成的与视频关联的字幕进行 text-video retrieval。经验证，该方法在 MSR-VTT、VATEX、MSVD 和 DiDeMo 四个标准数据集上的表现达到了 state-of-the-art 水平。
text-video retrievalzero-shot video captioningcross-modal feature interactionstate-of-the-art performancecap4video
发现论文，激发创造
  • 学习从图像描述到视频检索

    我们提出了一种协议来研究使用未标注视频进行文本到视频检索训练，在这种协议下，我们不假设对任何视频有标签的访问，即没有对应用真实字幕的视频集的访问权限；但我们可以通过文本形式访问有标签的图片。使用图像专家模型是一个现实的场景，因为注释图像比昂贵的视频标注方案更便宜且可扩展。最近，零样本学习的图像专家，如 CLIP 已经为视频理解任务建立了强大的基准线。在本文中，我们利用这一进展，实例化两种类型的图像专家模型：文本到图像检索模型用于提供初始骨架，以及图像字幕模型用于向未标注视频提供监督信号。我们展示了通过使用图像字幕自动标记视频帧，可以进行文本到视频检索训练。这个过程可以在没有手动标注成本的情况下适应目标领域的特征，进而在文本到视频检索任务中胜过强大的零样本学习基准线 CLIP。在训练过程中，我们从多个最佳匹配视觉内容的视频帧中采样字幕，并通过对每个字幕的相关性对帧表示进行时间汇集。我们进行了广泛的消融实验来提供深入见解，并通过在三个标准数据集（ActivityNet、MSR-VTT 和 MSVD）上胜过 CLIP 的零样本学习基准线来证明这个简单框架的有效性。

    Apr, 2024

  • 检索增强型零样本视频字幕生成

    该论文提出了一种利用现有的大规模视觉和语言模型进行测试时间适应性直接生成字幕的方法，通过使用多个关键模型来桥接视频和文本，并使用可学习的令牌来传递信息。在实验中，该方法在多个数据集上取得了与现有最先进方法相比的 4％至 20％的 CIDEr 主要评价指标的改进。

    May, 2024

  • ShareGPT4Video: 提升视频理解与生成，优化字幕

    通过稠密和精确的字幕，在大视频 - 语言模型（LVLMs）的视频理解和文本 - 视频模型（T2VMs）的视频生成方面，我们提出了 ShareGPT4Video 系列，该系列包括 40K GPT4V 标注的各种长度和来源的视频稠密字幕，通过精心设计的数据过滤和注释策略进行开发，以及有效的任意视频字幕模型 ShareCaptioner-Video 和卓越的 LVLM ShareGPT4Video-8B。

    Jun, 2024

  • 从图像说明中学习音视频模态

    该研究试图通过将图像字幕数据集中的字幕转移到视频剪辑中，从而消除了在文本 - 视频检索和文本 - 音频检索中缺乏大规模训练数据的难题，并创建了一个大规模音频 - 视频字幕数据集，使得使用这个数据集能够训练出性能优异的多模态转换模型，并在视频检索和视频字幕任务中达到或超越 HowTo100M 预训练 20 倍剪辑所能达到的性能，并且能够实现文本 - 音频预训练，并在音频检索任务中达到最先进的结果。

    Apr, 2022

  • 多面向注意力的视频字幕生成

    本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

    Dec, 2016

  • 用 FIRE 对抗火灾：评估文本到视频检索基准的有效性

    通过修正误标的负样本，我们评测了三种模型在两个标准测试集上的表现，发现在最佳模型上，修正后的指标提升了 25% 以上。此外我们发现测试集的 recall@10 已经接近饱和，同时我们推荐以样本抽样方式缓解标注数据成本，对未来的 text-to-video retrieval 基准测试提出了建议。

    Oct, 2022

  • 利用对齐的视频字幕增强的视频富文本检索生成

    我们提出使用 “对齐视觉标题” 作为一种机制，将视频中的信息整合到基于检索增强生成的聊天助手系统中，这些标题能够以文本形式描述视频的视觉和音频内容，并且易于理解和加入到大型语言模型的提示中，同时也需要较少的多媒体内容来插入到多模态语言模型的上下文窗口中，我们还为常见的检索增强生成任务构建了一个数据集并描述了自动评估程序以促进该领域的进展。

    May, 2024

  • 检索 - 复制 - 生成网络实现开放式视频字幕生成

    本研究提出一种新的视频字幕生成方法：Open-book Video Captioning，其中利用 Retrieve-Copy-Generate network，并结合视频语意的句子作提示，从训练语料库检索出相关句子，再结合 copy-mechanism generator 的作用动态生成字幕内容，将传统的基于视频内容的检索方式有效扩展为基于检索句子的方式，并在多个基准测试数据集上进行了广泛实验和测试，得出本方法的实现方式超越了现有的技术水平。

    Mar, 2021

  • Prompt Switch: 高效的 CLIP 适应文本 - 视频检索

    该研究论文介绍了一种在文本 - 视频检索中学习视频语义表示的方法，通过将一个空间 - 时间上下文模块引入图像编码器，并通过辅助视频字幕目标进行训练，以提高视频帧的语义能力。在增强后的帧表示上使用简单的时序融合策略，取得了三个基准数据集（MSR-VTT，MSVD 和 LSMDC）的最先进性能。

    Aug, 2023

  • 密集视频字幕生成与跨模态记忆检索

    通过使用外部记忆库和跨模态视频 - 文本匹配方法，我们提出了一种新的框架来解决密集视频字幕的挑战，实现了事件定位和事件字幕任务的自动化。实验结果表明，在 ActivityNet Captions 和 YouCook2 数据集上，我们的模型表现出良好的性能，无需来自大型视频数据集的大量预训练。

    Apr, 2024