Jun, 2024

SuperFormer：基于体素变换的 MRI 超分辨率结构

PDF
TL;DR本文提出了一种新颖的使用视觉 Transformer（ViTs）处理体积医学信息的框架，通过将先进的 Swin Transformer 模型拓展到三维医学领域，以及在 ViTs 中处理体积信息和编码位置的新方法。我们提出了基于 Transformer 的体积方法 SuperFormer，用于磁共振成像（MRI）超分辨率，通过利用 MRI 域的三维信息和具有三维相对位置编码的局部自注意机制来恢复解剖细节，并结合体积域和特征域的多域信息进行高分辨率 MRI 的重建，对人体连通项目数据集进行了广泛验证，并证明了体积 Transformer 相对于基于三维 CNN 的方法的优越性。
visual transformers3d medical domainposition encodingsuperformervolumetric transformers
发现论文，激发创造
  • SegFormer3D: 3D 医学图像分割的高效 Transformer

    SegFormer3D 是一种记忆高效的分层 Transformer，在 3D 医学图像分割中拥有比当前最先进模型更少的参数和更低的 GFLOPS，并在 Synapse、BRaTs 和 ACDC 等广泛使用的数据集上取得竞争性结果。

    Apr, 2024

  • UNetFormer: 用于三维医学图像分割的统一视觉 Transformer 模型和预训练框架

    本文提出了一个统一的框架，它由两个体系结构组成，称为 UNetFormer，具有基于 3D Swin 变压器的编码器和卷积神经网络和变压器的解码器。该架构的设计允许在准确性和计算成本之间满足宽范围的权衡要求。使用 CT 图像进行自我监督预训练，使用 Medical Segmentation Decathlon（MSD）数据集进行肝和肝肿瘤分割任务的 Fine-tune 和测试，并使用 MRI 图像的 BraTS 21 数据集进行脑肿瘤分割，并在 Dice 评分方面优于其他方法。

    Apr, 2022

  • 基于 Transformer 的可变长度体积数据端对端分类

    本研究提出一种基于 Transformer 的框架，通过随机分辨率输入不同的切片来增强可学习的位置嵌入，从而可以有效地分类可变长度的体积数据，这种方法在视网膜 OCT 卷积分类上获得了 21.96% 的平衡准确度提升。

    Jul, 2023

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • nnFormer: 交错 Transformer 用于体积分割

    介绍了一种新的医学图像分割模型 ——nnFormer，利用了 3D Transformer 模型的自注意机制，相比之前的 Transformer 模型在三个公开数据集上都取得了更好的性能。

    Sep, 2021

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • Swin Transformer 自监督预训练用于三维医学图像分析

    本文介绍了一种自我监督学习框架，使用适合医学图像分析的代理任务，成功地在各种人体器官的公开可用的 CT 图像上预训练模型，并在医学分割基准数据集上进行了微调，实现了最先进的匹配结果。

    Nov, 2021

  • ViT-V-Net: 用于无监督容积医学图像配准的视觉变换器

    该论文提出了一种基于 ViT 和 ConvNets 的新架构 ViT-V-Net，实现了类医学图像的体积重建。实验结果表明，该方法在图像配准任务中具有优异的性能。

    Apr, 2021

  • Hyper-VolTran：基于超网络的快速且通用的一次性图像到 3D 物体结构转换

    从单一视角解决图像到三维的问题是一个不适定问题，现有的神经重建方法依靠场景特定的优化限制其泛化能力。为了克服现有方法在泛化和一致性方面的局限性，我们引入了一种新颖的神经渲染技术。我们的方法通过几何编码体积和超网络，采用有符号距离函数作为表面表示，并从生成的多视图输入构建神经编码体积，在测试时根据输入图像调整 SDF 网络的权重，通过超网络以前馈方式实现对新场景的模型适应。为了减轻合成视图产生的伪影，我们提出了一个体素变换模块来改善图像特征的聚合，而不是单独处理每个视点。通过我们提出的 Hyper-VolTran 方法，我们避免了场景特定优化的瓶颈，并保持从多个视点生成的图像的一致性。我们的实验证明了我们提出的方法的优越性，具有一致的结果和快速生成。

    Dec, 2023

  • TransMorph: 无监督医学图像配准的 Transformer 模型

    本文提出了 TransMorph，一种混合了 Transformer-ConvNet 模型的医学图像配准方法，并通过验证证明，该方法在医学图像配准方面性能显著优于基线方法，从而证实了 Transformer 在医学图像配准方面的有效性。

    Nov, 2021