Jul, 2018

基于卷积 LSTM 的未来语义分割

PDF
TL;DR本文提出了一种新的模型，使用 ConvLSTM 编码观察到的视频帧的时空信息来预测未观察到的未来帧的语义分割图，并扩展了双向 ConvLSTM 来捕获双向的时间信息，该方法在基准数据集上优于其他最先进的方法，为实时决策制定提供了可靠的解决方案。
semantic segmentationvideoconvlstmreal-time decision makingautonomous driving
发现论文，激发创造
  • 深入预测语义分割的未来

    本文介绍了一种新的任务，即预测未来帧的语义分割，并研发了一种基于自回归卷积神经网络的方法。该方法针对城市街景数据集进行了试验，结果表明，直接预测未来的分割比预测并分割未来的 RGB 帧要好得多，并且可信度更高。

    Mar, 2017

  • 使用卷积 VRNN 进行未来帧预测的异常检测

    本研究提出了一种基于生成模型和 ConvLSTM 的新型顺序生成模型，用于预测未来视频帧，并在异常检测框架中考虑时间信息，实验表明，该方法在三个基准数据集上优于现有最先进方法。

    Sep, 2019

  • 基于卷积 LSTM 网络的显微细胞分割

    提出一种将 Convolutional Long Short Term Memory（C-LSTM）与 U-Net 相结合的细胞分割方法，以捕获细胞动力学信息，该方法在细胞跟踪挑战赛中取得了最先进的结果，代码可在提供的 https 链接中免费获取。

    May, 2018

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 未来分割

    提出了一种基于编码器 - 解码器网络的视频未来语义分割预测方法，使用先前的视频帧，仅利用 RGB 数据，利用知识蒸馏的训练框架预测未来场景的语义分割，并在 Cityscapes 和 Apolloscape 上取得了比基线和现有最先进方法更好的结果。

    Apr, 2019

  • Seg-LSTM: 遥感图像语义分割的 xLSTM 性能

    近期自回归网络的线性复杂度提升极大地推动了研究进展，在大型语言模型上表现出色。代表性模型为扩展长短期记忆网络 (xLSTM)，其融合了门控机制和记忆结构，在长序列语言任务上与 Transformer 架构可媲美。自回归网络如 xLSTM 可利用图像串行化扩展其应用于诸如分类和分割等视觉任务。尽管现有研究已经在图像分类方面证明了 Vision-LSTM 的出色结果，但其在图像语义分割方面的表现尚未得到验证。我们的研究首次尝试评估 Vision-LSTM 在遥感图像语义分割中的有效性。此评估基于一种名为 Seg-LSTM 的经过专门设计的编码器 - 解码器架构，并与目前最先进的分割网络进行比较。我们的研究发现 Vision-LSTM 在语义分割方面的表现受限，一般较 Vision-Transformers 和 Vision-Mamba 模型差强人意。建议未来研究方向是增强 Vision-LSTM。源代码可从此链接获取。

    Jun, 2024

  • 通过预测卷积特征预测未来实例分割

    研究了使用 Mask R-CNN 模型在语义级别预测未来视频实例分割的方法，相对于使用光流和实例分割方法，该方法表现更好。

    Mar, 2018

  • STFCN：用于语义视频分割的时空 FCN

    本文提出了一种包括时空特征的方法来解决语义视频分割问题，使用卷积神经网络和长短时记忆结构相结合的深度学习模型取得了 Camvid 和 NYUDv2 数据集的最先进语义分割性能。

    Aug, 2016

  • 深度卷积长短期记忆网络的时间性能预测

    利用时间后处理方法来估计卷积长短期记忆网络的预测性能，通过预测交并比或分类交并比是否为零来评估预测质量，进一步研究所考虑的细胞状态数量对提出的评估指标的影响。

    Nov, 2023

  • 卷积张量列车长短时记忆网络用于时空学习

    本文提出了一种高阶卷积 LSTM 模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

    Feb, 2020