Jun, 2016

视频描述的双向长短期记忆网络

PDF
TL;DR提出一种新型的视频字幕生成框架 Bidirectional Long-Short Term Memory，该框架综合保留了视频的信息，并在常用基准测试上验证了该框架的有效性。
video captioningtemporal informationbidirectional long-short term memoryvisual modellinglanguage model
发现论文，激发创造
  • 使用深度双向 LSTM 进行图像字幕生成

    本研究提出了一种端到端可训练的深度双向 LSTM 模型，用于图像字幕生成，增加了数据增强技术，并在三个基准数据集上进行了评估，证明其性能竞争力强。

    Apr, 2016

  • 用于视频字幕的多模态记忆建模

    本文提出了一种多模态记忆模型 (M3)，利用视觉和文本共享的记忆来建模长期的视觉 - 文本依赖关系并进一步引导全局的视觉注意力，该方法在公开基准数据集上的实验证明，相比于最先进的方法，本文提出的方法在 BLEU 和 METEOR 方面表现较好。

    Nov, 2016

  • 基于编码器 - 解码器的长短期记忆（LSTM）视频字幕模型

    本文展示了使用编码 - 解码模型来实现视频数据到文本字幕的多对多映射的方法，并讨论了数据预处理、模型构建和训练。通过对数据集的不同分割使用 2 元 BLEU 分数来评估字幕的准确性。通过特定的输出示例字幕表明模型在视频时间维度上具有通用性。预测的字幕表明在视频动作方面具有普适性，即使在视频场景发生剧烈变化的情况下。还讨论了改进句子语法和准确性的模型架构变化。

    Oct, 2023

  • 序列到序列 -- 视频到文本

    该文章介绍了一种基于序列到序列模型和 LSTM 的视频描述方法，利用时间结构，将视频帧序列与单词序列相关联来生成视频描述，同时该模型能够学习视频帧的时间结构和所生成句子的语言模型。

    May, 2015

  • 引导长短期记忆在图像字幕生成中的应用

    该研究致力于解决图像标题生成的问题，提出了一种名为 gLSTM 的扩展型 LSTM 模型，通过将从图像提取的语义信息作为额外输入添加到每个 LSTM 块的单元中，以更紧密地融合图像内容，同时探索了不同的长度标准化策略用于 beam search，以防止偏爱短句子，在 Flickr8K，Flickr30K 和 MS COCO 等基准数据集上取得了与甚至超过当前最先进技术的结果。

    Sep, 2015

  • 长短期记忆视频摘要

    本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

    May, 2016

  • 利用时间结构描述视频

    这篇论文提出了一种基于循环神经网络和 3-D 卷积神经网络以及时间注意力机制的视频自动描述方法，并在 Youtube2Text 数据集上的 BLEU 和 METEOR 度量标准上超过了当前最先进的结果，并在更大更具挑战性的配对视频和自然语言描述数据集上进行了测试。

    Feb, 2015

  • 联合建模嵌入和翻译以桥接视频和语言

    本文提出了一种名为 LSTM-E 的新型统一框架，它可以同时探索 LSTM 和视觉 - 语义嵌入的学习，以有效生成自然语言描述的视频内容，实验表明 LSTM-E 在生成自然语言句子方面的表现优于目前为止的最佳表现，对于预测 SVO 三元组也超过了几种最先进的技术。

    May, 2015

  • 多面向注意力的视频字幕生成

    本文提出了一种新的视频字幕生成方法，利用多种视觉特征和语义属性的层次，采用 LSTM 网络进行句子生成，实现自动选取最突出的视觉特征或语义属性，有望提高字幕生成的精确度。实验结果表明，该框架胜过现有最先进的方法，并可进一步提升精度至近于人类水平。

    Dec, 2016

  • 电影描述的长短故事

    本文研究使用图像及视频描述辅助盲人及人机交互的应用。通过使用预训练的对象分类器 CNNs 以及 LSTMs，学习生成描述的算法，并在 MPII-MD 数据集上获得了目前最佳性能。

    Jun, 2015