NIPSDec, 2016

视频阶梯网络

PDF
TL;DR本研究提出了一种名为 VLN 的神经编码解码模型，通过在每一层引入循环和前馈侧连接实现从所有编码层生成时间摘要，通过加入类似于 ResNet 的残差块进一步提升预测效果，并通过自监督学习在 Moving MNIST 数据集上获得了极简结构和快速推理的竞争性结果。
video framesneural networktemporal summariesresidual blocksself-supervised learning
发现论文，激发创造
  • 循环阶梯网络

    本文提出了一种基于递归的 Ladder 神经网络扩展，以此解决层次潜在变量模型中需要的推理问题，并证明该架构能够处理包括迭代推理和时间建模在内的各种复杂学习任务，涵盖视频数据的时间建模和提高基于高阶抽象的感知聚类等问题。作者在完全监督、半监督和非监督任务方面都取得了不错的结果，这表明所提出的架构和原则是学习抽象层次结构、学习迭代推理和处理时间信息的强有力工具。

    Jul, 2017

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 视频分类的非本地化 NetVLAD 编码

    本文介绍了我们在 Google AI 组织的第二届 YouTube-8M 视频理解挑战中的解决方案，该方案利用非本地操作实现了多个子模型的融合来有效地执行视频分类任务。

    Sep, 2018

  • 视觉 - 语言导航生成预训练 Transformer

    在 Vision-and-Language Navigation (VLN) 领域中，我们提出了一种基于 Transformer 的生成预训练模型（VLN-GPT），通过建模轨迹序列依赖关系来增强效率，并在训练过程中采用离线预训练和在线优化的方法，性能评估表明 VLN-GPT 超越了复杂的基于编码器的模型。

    May, 2024

  • NeXtVLAD：一种高效的神经网络，用于聚合基于帧的特征，实现大规模视频分类

    介绍了一种快速高效的网络结构 NeXtVLAD，用于将帧级特征聚合成一个紧凑的特征向量以进行大规模视频分类，在第二个 Youtube-8M 视频理解挑战中，单个 NeXtVLAD 模型只使用少于 80M 的参数就实现了 0.87846 的 GAP 分数，在 394 个团队中排名第 3。

    Nov, 2018

  • 梯形变分自编码器

    本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”，并利用逐步添加的近似似然校正生成分布，在生成模型中实现了更深更分布的隐变量层次结构，提供了前沿的预测性能和更紧的下界。

    Feb, 2016

  • 无监督层次化长期视频预测

    本文提出了一种基于神经网络的 Hierarchical Encoder-Decoder 模型，通过对输入帧进行编码，预测高级别的特征，再通过解码器生成预测图像，同时采用了对抗性损失以训练预测器，该方法可以进行 20 秒预测，并在 Human 3.6M 数据集上取得了更好的结果。

    Jun, 2018

  • 应用于字幕生成的分层循环神经网络视频编码器

    本文提出了一种新的层次循环神经编码器（HRNE）方法来利用视频的时间信息，该方法能够有效地减少输入信息流的长度，合成多个连续输入，并降低计算操作，且能够探测不同粒度的帧块之间的时间过渡，应用于视频字幕生成中实验表明其优于现有的视频字幕系统。

    Nov, 2015

  • 视频字幕重构网络

    本文提出了一种重构网络（RecNet）的架构，该网络利用正反两个方向的流动来进行视频字幕生成，其编码器 - 解码器使用正向流产生编码视频语义特征的句子描述，两种类型的重构器则用于回溯流程并重新生成与解码器生成的隐藏状态序列基于的视频特征。实验结果表明，所提出的重构器网络能够提高编码器 - 解码器模型的性能，并显著提高视频字幕准确性。

    Mar, 2018

  • VLN-Video：利用行车视频进行户外视觉语言导航

    提出了 VLN-Video 方法来改善室外视觉与语言导航的性能，利用驾驶视频中多个城市的多样化室外环境和自动生成的导航指令和行动，通过结合传统直觉方法和现代深度学习技术进行预训练和微调，实现了在 Touchdown 数据集上 2.1％的任务完成率的显著提升，达到了最新的技术水平。

    Feb, 2024