Dec, 2015

基于帧和视频级特征以及视觉内容分类的循环网络视频字幕生成

HTML
PDF
TL;DR本文介绍了使用循环神经网络（RNN）生成短视频文本描述的系统，利用静态图像特征和视频专属特征的RNN，我们研究了视觉内容分类器作为额外信息源的实用性，并通过实验结果证明了密集轨迹视频特征和内容分类器输出的利用，可以比单独利用它们表现更好。
发现论文，激发创造
  • 使用深度递归神经网络将视频翻译为自然语言

    本篇论文提出直接利用统一深度神经网络将视频转换为句子的方法，并通过将知识从含标记种类超过120万张图像和带字幕的超过100,000张图像中迁移而创建具有大型词汇库的开放域视频句子描述。通过与语言生成度量，主语，动词和宾语预测准确度以及人的评估进行比较，证明本方法的有效性。

    Dec, 2014

  • 利用时间结构描述视频

    这篇论文提出了一种基于循环神经网络和 3-D 卷积神经网络以及时间注意力机制的视频自动描述方法，并在Youtube2Text数据集上的BLEU和METEOR度量标准上超过了当前最先进的结果，并在更大更具挑战性的配对视频和自然语言描述数据集上进行了测试。

    Feb, 2015

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和LSTM的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015

  • 电影描述的长短故事

    本文研究使用图像及视频描述辅助盲人及人机交互的应用。通过使用预训练的对象分类器CNNs以及LSTMs，学习生成描述的算法，并在MPII-MD数据集上获得了目前最佳性能。

    Jun, 2015

  • 使用分层循环神经网络进行视频段落字幕生成

    利用分层循环神经网络和时空注意力机制生成视频字幕，在YouTube和TACoS数据集上验证具有更高BLEU得分。

    Oct, 2015

  • 视频翻译的自适应特征抽象

    本研究提出了一种新的方法，使用自适应的注意力机制和多层卷积神经网络特征（即特征抽象）来生成视频的时空表示，通过实验验证了该方法的有效性。

    Nov, 2016

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 视频字幕的时空动态与语义属性增强视觉编码

    本篇文章提出了一种视觉特征编码技术，使用门控循环单元（GRUs）生成语义丰富的视频字幕，并在MSVD和MSR-VTT数据集上创造了新的METEOR和ROUGE_L度量标准的最新技术水平。

    Feb, 2019

  • 视频字幕的时间可变卷积编-解码神经网络

    本文提出了一种新颖的设计，即TDConvED，它在视频字幕生成中充分利用编码器和解码器网络中的卷积，具有卷积块结构，在编码器中进一步配备时间变形卷积以实现时间采样的自由形变，并利用时间关注机制进行句子生成，在MSVD和MSR-VTT视频字幕生成数据集上进行了广泛实验，在与常规基于RNN的编码器解码器技术进行比较时获得更好的结果。

    May, 2019

  • 基于记忆注意力的循环神经网络用于视频字幕生成

    提出了一种记忆注意力循环网络用于视频字幕生成，可以在训练数据中探索词与其各种类似视觉上下文的全谱对应关系，从而实现对每个单词的更全面理解，并提高字幕生成质量。

    May, 2019