Feb, 2023

Video-SwinUNet：VFSS 实例分割的时空深度学习框架

PDF
TL;DR本文提出了一个基于深度学习的医学视频分割框架，通过时间特征融合和 Swin Transformer 编码强大的全局空时特征以及使用 UNet 编码解码结构，实现了在 VFSS2022 数据集上分割性能显著优于其他方法的效果。
medical video segmentationdeep learningtemporal feature blendingswin transformerunet
发现论文，激发创造
  • STFCN：用于语义视频分割的时空 FCN

    本文提出了一种包括时空特征的方法来解决语义视频分割问题，使用卷积神经网络和长短时记忆结构相结合的深度学习模型取得了 Camvid 和 NYUDv2 数据集的最先进语义分割性能。

    Aug, 2016

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

    利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

    Jan, 2022

  • 混合实例感知时间融合在在线视频实例分割中的应用

    该论文提出了一种基于 transformer 的图像分割方法，利用一个新的实例感知的时间融合方法来处理视频序列中物体实例的时序关系，通过建立实例代码、CNN 特征图之间的混合注意力机制来实现跨帧的一致性建模，使得模型能够直接检测和跟踪视频序列中的物体实例。

    Dec, 2021

  • DS-TransUNet: 医学图像分割的双 Swin Transformer U-Net

    本研究提出了 Dual Swin Transformer U-Net (DS-TransUNet) 框架，它是第一次尝试将 Swin Transformer 的优势同时融入到标准 U 形架构的编码器和解码器中，以提高不同医学图像的语义分割质量。实验表明，DS-TransUNet 显著优于现有的医学图像分割方法。

    Jun, 2021

  • 外科手术视频语义分割的时空网络

    在手术视频中进行语义分割在术中导航、术后分析和手术教育方面有应用价值。我们提出了一种用于建模视频时间关系的新架构，通过改善帧之间的时间一致性以提高视频语义分割精度，并在两个数据集上验证了其性能提升。

    Jun, 2023

  • 基于时空特征的深度伪造视频普适检测

    通过使用 3D CNN 建立时空特征提取模型，我们提出了一种新的深度伪造视频检测方法，相比于现有方法能更准确地进行分类，并且经过测试表现出更强的通用能力。

    Oct, 2020

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • Swin-Unet: 纯 Transformer 风格的 Unet 模型用于医学图像分割

    该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

    May, 2021