Jan, 2022

Swin Transformer 用于快速磁共振成像

PDF
TL;DR采用 Swin transformer 以及 multi-channel loss 的方式用于快速 MRI 重建，在进行了多个比较和消融实验以及对多模态脑肿瘤分割的实践后，得出了良好的重建效果。
mrik-space undersamplingdeep learningswin transformerfast mri reconstruction
发现论文，激发创造
  • 基于卷积网络辅助重建 Swin Transformer 的动态 MRI 重建学习

    提出了一种名为 Reconstruction Swin Transformer (RST) 的新型架构，用于 4D MRI 重建，该架构继承了视频 Swin Transformer 的骨干设计，并引入了新的重建头部来恢复像素级强度，通过在卡片 4D MR 数据集中的实验结果进一步证实了 RST 的优越性。

    Sep, 2023

  • 具注意力机制的多分支级联 Swing Transformer 在 k - 空间采样模式下用于加速磁共振图像重建

    本文提出了一种基于物理学的独立变压器模型（Multi-head Cascaded Swin Transformers，McSTRA），用于快速磁共振成像重建，该模型结合了多个相互连接的磁共振物理相关的概念与变压器网络，具有窗口自注意机制、多头设置、级联网络等特点，并采用一种新颖的位置嵌入机制，显著优于现有 MRI 重建方法，提高了图像的分辨率和去除了混淆伪影。

    Jul, 2022

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

    利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

    Jan, 2022

  • 用于自动医学图像分割的高分辨率 Swin Transformer

    本研究提出了一种基于 Transformer 的医学图像分割网络 HRSTNet，其采用具有高分辨率的设计风格，用 Transformer 块代替卷积层，不断交换不同分辨率的特征图集来提高性能

    Jul, 2022

  • Swin Transformer 的自监督跨模态预训练

    通过增强 Swin Transformer，我们的模型 SwinFUSE (Swin 多模态融合的无监督增强) 在医学影像领域从不同的影像模态中学习，提升了下游性能，并展现出了对领域变化的适应性以及显著的泛化能力。

    May, 2024

  • SwiFT：Swin 4D fMRI Transformer

    使用 SwiFT 模型，利用多头自注意机制和绝对位置嵌入，从 4D 功能性脑 MRI 数据中直接学习大脑动态。实验结果表明，SwiFT 在诸如预测性别、年龄和认知智能等任务中始终优于最新一代模型，并可进行对比损失自我监督预训练以获得更好的性能。

    Jul, 2023

  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023

  • 用于运动伪影分类和心脏磁共振图像分割的多任务 Swin Transformer

    本研究提出了一种多任务的网络 ——Multi-task Swin UNEt TRansformer 网络，用于解决在 CMR 运动挑战中的 CMR 分割和运动伪影分类，实现了同时确定 CMR 的诊断质量和生成掩模的目的。通过 5 倍交叉验证训练 5 个网络的集合，我们实现了 DICE 系数为 0.871 的分割性能和 0.595 的分类准确性。

    Sep, 2022

  • 多视点 Swin Transformer 的乳房 X 光分类

    本文提出了一种创新的基于 Transformer 的多视图网络，用于解决乳房 X 线照片分类中的挑战。我们的方法通过引入一种新颖的基于移动窗口的动态注意力块，促进多视图信息的有效集成，并在空间特征映射级别上促进该信息在视图之间的一致传递。此外，我们使用 CBIS-DDSM 和 Vin-Dr Mammo 数据集对基于 Transformer 的模型在不同设置下的性能和有效性进行了全面的比较分析。我们的代码公开可用于此 https URL。

    Feb, 2024