卷积张量列车长短时记忆网络用于时空学习
L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法,结合多模态训练程序,在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。
Aug, 2017
ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.
Oct, 2023
通过 ConvLSTM 技术,结合静态图像和时间动态变化,从多个患者研究中提取 3D 和时间维度信息来预测肿瘤体积,同时可实现肿瘤细胞密度和 CT 强度值的预测,并应用于 4D 医学图像分割任务。
Feb, 2019
本文提出了一种新的模型,使用 ConvLSTM 编码观察到的视频帧的时空信息来预测未观察到的未来帧的语义分割图,并扩展了双向 ConvLSTM 来捕获双向的时间信息,该方法在基准数据集上优于其他最先进的方法,为实时决策制定提供了可靠的解决方案。
Jul, 2018
本文将降水短时预报问题作为时空序列预测问题,并使用卷积 LSTM (ConvLSTM) 构建可端到端训练的模型,数据实验表明,相比全连接的 LSTM 和 ROVER 算法,ConvLSTM 能够更好地捕捉时空相关性,并在降水短时预报中具有更好的预测性能。
Jun, 2015
通过学习能够识别视频中异常事件的生成模型,我们提出了结合卷积 LSTM 的网络,利用少量的监督来预测视频序列的演变,从预测的一组重建误差中获取规则分数,证明使用 Conv-LSTM 单元对建模和预测视频序列是一种有效的工具。
Dec, 2016
本文介绍了一种新的视频预测模型 ——MS-LSTM,该模型采用多尺度空间和时间结构,在充分捕捉时空上下文信息方面具有高效和优秀的性能。与现有的 RNN 模型不同的是,MS-LSTM 使用 LSTMs 和不同的卷积内核设计空间和时间尺度,实现多尺度表示,有效减少了训练成本,同时取得更好的表现。
Apr, 2023
本文提出了一种结合高级时空图和序列学习成功的递归神经网络(RNN)的方法,通过将任意时空图转化为丰富的 RNN 混合物来提高模型性能,适用于模拟人类运动到对象交互等多种问题领域。
Nov, 2015
本文介绍了使用长短时记忆神经网络(LSTM)预测天气的方法。作者提出了一个 2 层的时空堆叠 LSTM 模型,其中第一层是独立的 LSTM 模型,第二层的输入是第一层 LSTM 模型的隐藏状态的组合。实验表明,通过利用空间信息,时空堆叠 LSTM 模型的预测性能在大多数情况下都得到了提高。
Nov, 2018
研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果,针对视频识别、图像描述、检索以及视频叙事方面的问题,开发出一种新颖的循环卷积架构,该架构可以训练端到端,可以同时学习时间动态和卷积感知表示,并具有学习长期依赖性的能力。实验结果证明,循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。
Nov, 2014