Feb, 2024

递归字幕：对小时长视频的递归字幕

PDF
TL;DR我们提出了 Video ReCap，一种递归视频字幕模型，可以处理时长从 1 秒到 2 小时的视频输入，并在多个层次结构水平输出视频字幕。通过利用不同的视频层次结构之间的协同作用，我们的递归视频 - 语言架构可以高效地处理长达数小时的视频。我们还通过增加 8,267 个手动收集的长范围视频摘要来引入 Ego4D-HCap 数据集。我们的递归模型可以灵活地生成不同层次结构的字幕，同时也适用于其他复杂的视频理解任务，如基于 EgoSchema 的 VideoQA。
发现论文，激发创造
  • 使用分层循环神经网络进行视频段落字幕生成

    利用分层循环神经网络和时空注意力机制生成视频字幕，在 YouTube 和 TACoS 数据集上验证具有更高 BLEU 得分。

    Oct, 2015

  • 基于分层强化学习的视频字幕生成

    本文提出了一种新颖的分层强化学习框架，用于视频字幕生成，该框架让高级管理器模块学习设计子目标，低级工作模块识别基本动作以实现子目标，实验证明我们的方法在细粒度视频字幕生成方面优于其他基线方法，并在已广泛使用的 MSR-VTT 数据集上达到了最佳效果。

    Nov, 2017

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 一段视频胜过万言：利用多样化字幕进行更好的长视频检索的训练和基准测试

    通过对长视频生成多样的合成标题，使用大型语言模型评估长视频检索系统的能力，并提出轻量级微调方法（基于对不同标题中信息层级的差异进行对比损失学习），在下游的段落 - 视频检索任务以及使用合成数据计算的各种长视频检索度量上均有明显提升。

    Nov, 2023

  • 流式视频密集字幕

    提出了一种用于密集视频字幕生成的理想模型，能够处理长时间视频输入、预测丰富详细的文本描述，并且能在整个视频处理完成之前生成输出，通过引入聚类处理令其能够处理任意长的视频，并设计了一种流式解码算法使模型能够提前进行预测，实验证明了该模型在三个密集视频字幕生成基准数据集上优于现有的最先进模型。

    Apr, 2024

  • 重新审视分层方法，用于持久长期视频预测

    本文重新审视了视频预测中的分层模型，通过先估计语义结构序列，再通过视频到视频的转换将结构转化为像素，我们展示了用随机循环估算器模拟离散语义结构空间中的结构及其动态来进行成功的长期预测，通过在汽车驾驶和人类舞蹈等三个数据集上的评估，证明了我们的方法能够在非常长的时间范围内生成复杂的场景结构和运动，并且取得了比现有方法长几数量级的预测时间，代码和完整视频可在此 https URL 获得。

    Apr, 2021

  • 基于帧和视频级特征以及视觉内容分类的循环网络视频字幕生成

    本文介绍了使用循环神经网络（RNN）生成短视频文本描述的系统，利用静态图像特征和视频专属特征的 RNN，我们研究了视觉内容分类器作为额外信息源的实用性，并通过实验结果证明了密集轨迹视频特征和内容分类器输出的利用，可以比单独利用它们表现更好。

    Dec, 2015

  • 利用字幕的关注语义视频生成

    该研究提出了一种网络架构，利用标题执行可变长度的语义视频生成。网络能够区分视频中的对象，动作和交互，并将它们与长期和短期依赖结合起来，以增量方式生成视频。网络通过学习潜在表示对视频进行无监督生成，并在执行其他任务时表现出了良好的能力，如动作识别和空时样式转移。

    Aug, 2017

  • 视频字幕的分层模块化网络

    本文提出了一种分层的模块化网络来连接视频表示和语言语义，从实体级别、谓词级别和句子级别三个层次生成视频字幕，并在 MSVD 和 MSR-VTT 基准测试中表现优异。

    Nov, 2021

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015