ICCVAug, 2023

SwinLSTM：使用 Swin Transformer 和 LSTM 提升时空预测准确性

PDF
TL;DR整合了 CNN 和 RNN 以捕捉时空相关性的方法被广泛应用于时空预测任务中。然而，CNN 学习局部空间信息的特性降低了其捕捉时空相关性的效率，从而限制了其预测准确性。本文中，我们提出了一种新的循环单元 SwinLSTM，它与 Swin Transformer 块和简化版的 LSTM 相结合，用自注意力机制替代了 ConvLSTM 中的卷积结构。此外，我们构建了一个以 SwinLSTM 单元为核心的网络用于时空预测。在 Moving MNIST、Human3.6m、TaxiBJ 和 KTH 数据集上，SwinLSTM 在没有使用特殊技巧的情况下，表现优于最先进的方法，特别在预测准确性方面展现了显著的提升。我们的竞争性实验结果证明了对模型捕捉时空相关性来说学习全局空间依赖性的优势，希望 SwinLSTM 能成为推动时空预测准确性进步的坚实基准。代码可在给定的 URL 中公开获取。
integrationcnnsrnnsswinlstmspatiotemporal prediction
发现论文，激发创造
  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021

  • SwinTrack：用于 Transformer 跟踪的简单和强大基线

    本文提出了一种基于 Transformer 架构的简单且高效的完全注意力追踪器 SwinTrack，并对其进行了全面的实验。通过对运动标记进行轻量化和历史目标轨迹的嵌入，SwinTrack 在多个基准测试中取得了优于现有各种方法的最佳表现。该算法预计将为追踪任务奠定坚实的基础，并促进未来的研究。

    Dec, 2021

  • 卷积张量列车长短时记忆网络用于时空学习

    本文提出了一种高阶卷积 LSTM 模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

    Feb, 2020

  • 基于端到端 Transformer 的图像描述模型

    本文提出了一种基于 Transformer 的图像描述模型，使用 SwinTransformer 提取网格级特征，一阶段完成训练并实现 end-to-end 生成描述，得到了 MSCOCO 数据集上 state-of-the-art 的表现。

    Mar, 2022

  • SwinV2DNet：金字塔与自监督复合特征学习用于遥感图像变化检测

    基于 Swin V2 与 VGG16，提出了一种端到端的合成稠密网络 SwinV2DNet，继承了 transformer 和 CNN 的优势，克服了现有网络在特征学习中的缺陷，并在四个常用遥感数据集上获得了 SOTA 的变化检测分数和细粒度的变化图。

    Aug, 2023

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • Swin-Unet: 纯 Transformer 风格的 Unet 模型用于医学图像分割

    该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

    May, 2021

  • 基于卷积 LSTM 网络的显微细胞分割

    提出一种将 Convolutional Long Short Term Memory（C-LSTM）与 U-Net 相结合的细胞分割方法，以捕获细胞动力学信息，该方法在细胞跟踪挑战赛中取得了最先进的结果，代码可在提供的 https 链接中免费获取。

    May, 2018

  • 循环空间变换网络

    本文研究了如何将最近提出的空间变换网络（SPN）[Jaderberg et. al 2015] 集成到递归神经网络（RNN）中，形成一个 RNN-SPN 模型，用于对杂乱的 MNIST 序列中的数字进行分类。我们的模型通过对感兴趣的区域进行自适应降采样，从而取得了 1.5% 的错误率，表现优于使用卷积神经网络或卷积神经网络加上 SPN 层的方法。

    Sep, 2015

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023