Jul, 2019

使用重新聚焦的视频编码器进行视频字幕

PDF
TL;DR本文提出了一种新的递归视频编码方法和新的视觉空间特征，以改进视频字幕生成任务的效果，实验结果表明，该方法能显著提高视频字幕生成质量。
video captioningtemporal informationspatial detailsrecurrent encodingvisual spatial feature
发现论文，激发创造
  • 视频字幕的时空动态与语义属性增强视觉编码

    本篇文章提出了一种视觉特征编码技术，使用门控循环单元（GRUs）生成语义丰富的视频字幕，并在 MSVD 和 MSR-VTT 数据集上创造了新的 METEOR 和 ROUGE_L 度量标准的最新技术水平。

    Feb, 2019

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 基于帧和视频级特征以及视觉内容分类的循环网络视频字幕生成

    本文介绍了使用循环神经网络（RNN）生成短视频文本描述的系统，利用静态图像特征和视频专属特征的 RNN，我们研究了视觉内容分类器作为额外信息源的实用性，并通过实验结果证明了密集轨迹视频特征和内容分类器输出的利用，可以比单独利用它们表现更好。

    Dec, 2015

  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019

  • 视频字幕的时间可变卷积编 - 解码神经网络

    本文提出了一种新颖的设计，即 TDConvED，它在视频字幕生成中充分利用编码器和解码器网络中的卷积，具有卷积块结构，在编码器中进一步配备时间变形卷积以实现时间采样的自由形变，并利用时间关注机制进行句子生成，在 MSVD 和 MSR-VTT 视频字幕生成数据集上进行了广泛实验，在与常规基于 RNN 的编码器解码器技术进行比较时获得更好的结果。

    May, 2019

  • 利用时间结构描述视频

    这篇论文提出了一种基于循环神经网络和 3-D 卷积神经网络以及时间注意力机制的视频自动描述方法，并在 Youtube2Text 数据集上的 BLEU 和 METEOR 度量标准上超过了当前最先进的结果，并在更大更具挑战性的配对视频和自然语言描述数据集上进行了测试。

    Feb, 2015

  • 视频描述的双向长短期记忆网络

    提出一种新型的视频字幕生成框架 Bidirectional Long-Short Term Memory，该框架综合保留了视频的信息，并在常用基准测试上验证了该框架的有效性。

    Jun, 2016

  • 视频聊天字幕生成器：朝向丰富化的时空描述

    本研究提出了一个新的视频描述方法，即 Video ChatCaptioner，它使用 ChatGPT 模型作为控制器，提出视频内容驱动的问题并回答这些视觉查询，从而生成包含更多视觉细节的视频标题。

    Apr, 2023

  • 多面向注意力的视频字幕生成

    本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

    Dec, 2016

  • 视频字幕解码器的深度挖掘

    本篇研究针对视频字幕模型的解码问题，通过三种技术改进模型的性能，包括使用变分 Dropout 和层归一化改善过拟合问题、提出在线评估模型性能以选择最佳测试检查点的方法、提出专业学习的新训练策略。在 Microsoft Research Video Description Corpus (MSVD) 和 MSR-Video to Text (MSR-VTT) 数据集上进行的实验证明，相较于之前最先进的模型，我们的模型在 BLEU、CIDEr、METEOR 和 ROUGE-L 指标上获得了显著的成果，其中在 MSVD 数据集上提升了高达 18%，在 MSR-VTT 数据集上提升了 3.5%。

    Jan, 2020