Apr, 2023

MS-LSTM: 探索视频预测领域的时空多尺度表示

PDF
TL;DR本文介绍了一种新的视频预测模型 ——MS-LSTM，该模型采用多尺度空间和时间结构，在充分捕捉时空上下文信息方面具有高效和优秀的性能。与现有的 RNN 模型不同的是，MS-LSTM 使用 LSTMs 和不同的卷积内核设计空间和时间尺度，实现多尺度表示，有效减少了训练成本，同时取得更好的表现。
video predictionspatiotemporal multi-scale modellstmsmulti-scale representationstraining costs
发现论文，激发创造
  • 使用 LSTMs 进行视频表示的无监督学习

    使用多层 LSTM 网络来学习视频序列的表示，采用编码器 LSTM 将输入序列映射成固定长度的表示，通过单个或多个解码器 LSTM 解码以执行不同的任务，如重构输入序列或预测未来序列，实验说明预先训练好的模型在人类动作识别等任务上的有效性。

    Feb, 2015

  • 卷积张量列车长短时记忆网络用于时空学习

    本文提出了一种高阶卷积 LSTM 模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

    Feb, 2020

  • 气象预报中用于温度预测的时空堆叠 LSTM

    本文介绍了使用长短时记忆神经网络（LSTM）预测天气的方法。作者提出了一个 2 层的时空堆叠 LSTM 模型，其中第一层是独立的 LSTM 模型，第二层的输入是第一层 LSTM 模型的隐藏状态的组合。实验表明，通过利用空间信息，时空堆叠 LSTM 模型的预测性能在大多数情况下都得到了提高。

    Nov, 2018

  • 并行多维 LSTM 及其在快速生物医学体积图像分割中的应用

    本文提出了一种用于图像分割的 PyraMiD-LSTM 模型，相较 Convolutional Neural Networks 和 Multi-Dimensional Recurrent NNs 具有更好的数据并行化的能力，并在 MRBrainS13 中实现了最佳像素级别的脑影像分割结果。

    Jun, 2015

  • 利用深度神经网络进行大规模 YouTube-8M 视频理解

    本文基于 YouTube-8M 大规模数据集，提出了三种视频分类模型，分别基于帧池化和 LSTM 网络，第三个模型使用 Experts 混合中间层以增加模型容量，并进行了一系列处理不平衡训练数据的实验。

    Jun, 2017

  • 分层多尺度循环神经网络

    本文提出了一种多尺度递归神经网络，称为分层多尺度递归神经网络，通过使用新的更新机制，在不使用显式边界信息的情况下捕获序列中的潜在分层结构，从而解决递归神经网络中的层次和时间表示问题，并在字符级别语言建模和手写序列建模上进行评估。

    Sep, 2016

  • 基于格子长短期记忆的人类动作识别

    L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

    Aug, 2017

  • 解读视频特征：3D 卷积网络和卷积 LSTM 网络的比较

    探索了 3D 卷积网络和卷积 LSTM 网络在时空依赖帧中的特性，并通过将意义扰动引入时间维度的方式，确定了网络分类决策时最有意义的时间部分。研究发现，3D 卷积模型更关注较短的事件，并将其空间焦点放在较少的连续区域。

    Feb, 2020

  • 长短期记忆视频摘要

    本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

    May, 2016

  • 利用空间 LSTMs 生成图像模型

    本文中介绍了一种基于多维 LSTM 的递归图像模型，该模型可以捕获长距离像素之间的统计依赖，适用于纹理合成和补全等多项任务，并在多个图像数据集上的定量比较中表现优异。

    Jun, 2015