Dec, 2015

基于帧和视频级特征以及视觉内容分类的循环网络视频字幕生成

PDF
TL;DR本文介绍了使用循环神经网络（RNN）生成短视频文本描述的系统，利用静态图像特征和视频专属特征的 RNN，我们研究了视觉内容分类器作为额外信息源的实用性，并通过实验结果证明了密集轨迹视频特征和内容分类器输出的利用，可以比单独利用它们表现更好。
recurrent neural networkstextual descriptionsvideo clipscaption generationvisual content classifiers
发现论文，激发创造
  • 使用分层循环神经网络进行视频段落字幕生成

    利用分层循环神经网络和时空注意力机制生成视频字幕，在 YouTube 和 TACoS 数据集上验证具有更高 BLEU 得分。

    Oct, 2015

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 视频字幕的时空动态与语义属性增强视觉编码

    本篇文章提出了一种视觉特征编码技术，使用门控循环单元（GRUs）生成语义丰富的视频字幕，并在 MSVD 和 MSR-VTT 数据集上创造了新的 METEOR 和 ROUGE_L 度量标准的最新技术水平。

    Feb, 2019

  • 利用强化学习重建和表示视频内容以进行字幕化

    本研究提出了一种新颖的编码器 - 解码器 - 重构器结构（RecNet）修复网络，通过双向流的运用，从本地和全局的角度，利用先前生成的解码器隐藏状态序列，高效地重构视频特征 ，并通过增强学习、CIDEr 优化微调 RecNet 逐步提高视频字幕的性能

    Jun, 2019

  • 利用时间结构描述视频

    这篇论文提出了一种基于循环神经网络和 3-D 卷积神经网络以及时间注意力机制的视频自动描述方法，并在 Youtube2Text 数据集上的 BLEU 和 METEOR 度量标准上超过了当前最先进的结果，并在更大更具挑战性的配对视频和自然语言描述数据集上进行了测试。

    Feb, 2015

  • 使用重新聚焦的视频编码器进行视频字幕

    本文提出了一种新的递归视频编码方法和新的视觉空间特征，以改进视频字幕生成任务的效果，实验结果表明，该方法能显著提高视频字幕生成质量。

    Jul, 2019

  • 使用双向循环神经网络进行视频描述

    本文提出使用编码器 - 解码器框架，结合卷积和循环神经网络生成视频和图像描述的更高级模型，通过在编码阶段引入对象和位置信息来获得更丰富的图像表示，并引入双向循环神经网络以捕捉输入帧中的正向和反向时间关系。

    Apr, 2016

  • 视频字幕重构网络

    本文提出了一种重构网络（RecNet）的架构，该网络利用正反两个方向的流动来进行视频字幕生成，其编码器 - 解码器使用正向流产生编码视频语义特征的句子描述，两种类型的重构器则用于回溯流程并重新生成与解码器生成的隐藏状态序列基于的视频特征。实验结果表明，所提出的重构器网络能够提高编码器 - 解码器模型的性能，并显著提高视频字幕准确性。

    Mar, 2018

  • 简化密集视频字幕生成

    本文提出了一种新颖的密集视频字幕框架，它通过显式建模视频中事件的时间依赖性并利用先前事件的视觉和语言上下文来实现连贯的叙述。该框架由事件序列生成网络和序列视频字幕网络组成，后者利用强化学习进行训练，并在事件和剧集两个级别上进行两级奖励以实现更好的上下文建模。在大多数指标上，该方法在 ActivityNet Captions 数据集上取得了出色的表现。

    Apr, 2019

  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于 LSTM 的模型快 3 倍，同时在 MSCOCO 图像字幕数据集上获得了比 LSTM 更高的评估得分。

    May, 2018