May, 2019

视频字幕的时间可变卷积编-解码神经网络

HTML
PDF
TL;DR本文提出了一种新颖的设计，即TDConvED，它在视频字幕生成中充分利用编码器和解码器网络中的卷积，具有卷积块结构，在编码器中进一步配备时间变形卷积以实现时间采样的自由形变，并利用时间关注机制进行句子生成，在MSVD和MSR-VTT视频字幕生成数据集上进行了广泛实验，在与常规基于RNN的编码器解码器技术进行比较时获得更好的结果。
发现论文，激发创造
  • 长期循环卷积网络用于视觉识别和描述

    研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

    Nov, 2014

  • 应用于字幕生成的分层循环神经网络视频编码器

    本文提出了一种新的层次循环神经编码器（HRNE）方法来利用视频的时间信息，该方法能够有效地减少输入信息流的长度，合成多个连续输入，并降低计算操作，且能够探测不同粒度的帧块之间的时间过渡，应用于视频字幕生成中实验表明其优于现有的视频字幕系统。

    Nov, 2015

  • 基于帧和视频级特征以及视觉内容分类的循环网络视频字幕生成

    本文介绍了使用循环神经网络（RNN）生成短视频文本描述的系统，利用静态图像特征和视频专属特征的RNN，我们研究了视觉内容分类器作为额外信息源的实用性，并通过实验结果证明了密集轨迹视频特征和内容分类器输出的利用，可以比单独利用它们表现更好。

    Dec, 2015

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 卷积图像描述

    本文提出了一种卷积图像字幕生成技术，并在 MSCOCO 数据集上展示了其与基准模型相媲美的性能，同时具有更快的训练时间和更少的参数数量。作者还对其模型的优点进行了详细分析，提出了卷积语言生成方法的有力证据。

    Nov, 2017

  • 视频字幕重构网络

    本文提出了一种重构网络（RecNet）的架构，该网络利用正反两个方向的流动来进行视频字幕生成，其编码器-解码器使用正向流产生编码视频语义特征的句子描述，两种类型的重构器则用于回溯流程并重新生成与解码器生成的隐藏状态序列基于的视频特征。实验结果表明，所提出的重构器网络能够提高编码器-解码器模型的性能，并显著提高视频字幕准确性。

    Mar, 2018

  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于LSTM的模型快3倍，同时在MSCOCO图像字幕数据集上获得了比LSTM更高的评估得分。

    May, 2018

  • 图像字幕的循环融合网络

    本文提出了一种使用多个编码器的循环融合网络(RFNet)来处理图像字幕生成问题，RFNet可以利用多个编码器的输出之间的相互作用，生成新的、紧凑而且信息丰富的表示，验证实验表明，RFNet对于图像字幕生成问题是有效的，并且取得了最新的最好结果。

    Jul, 2018

  • 视频字幕的时空动态与语义属性增强视觉编码

    本篇文章提出了一种视觉特征编码技术，使用门控循环单元（GRUs）生成语义丰富的视频字幕，并在MSVD和MSR-VTT数据集上创造了新的METEOR和ROUGE_L度量标准的最新技术水平。

    Feb, 2019

  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019