Jul, 2023

时空建模遭遇 3D 医学图像分析：Slice-Shift UNet 与多视图融合

PDF
TL;DR基于视频动作识别领域的灵感，我们提出了一种名为 Slice Shift UNet (SSH-UNet) 的新型二维模型，以 2D 卷积神经网络的复杂度编码三维特征，通过沿切片轴移动部分特征图重新融合被 2D 卷积忽视的第三个维度。在多模态腹部多器官分割（AMOS）和除颅骨外多图谱标记（BTCV）数据集中验证了我们方法的有效性，表明 SSH-UNet 在性能上与最先进的架构相媲美，且更高效。
发现论文，激发创造
  • 深度学习中的医学图像分割实现跨维度迁移学习

    本论文介绍了一种将自然图像上训练的 2D 分类网络的效率转移到 2D、3D 单模态和多模态医学图像分割应用中的高效方法，该方法基于权重转移和维度转移的两个关键原则，实验证明其在多维医学图像分割方面表现出色。

    Jul, 2023

  • 多维统一 Swin Transformer 用于多解剖位置的 3D 病变分割

    在肿瘤学研究中，准确的 CT 扫描病灶 3D 分割对于病灶生长动力学的建模至关重要。然而，根据 RECIST 准则，放射科医生通常仅在显示最大横截面面积的轴位切片上勾画每个病灶，并在研究目的上勾画少量的 3D 病灶。因此，我们有大量未标记的 3D 体积和带标签的 2D 图像，以及稀缺的标记的 3D 体积，这使得训练深度学习 3D 分割模型成为一项具有挑战性的任务。本研究提出了一种新模型，称为多维统一的 Swin Transformer (MDU-ST)，用于 3D 病灶分割。MDU-ST 由一个偏移窗口变换器 (Swin-transformer) 编码器和一个卷积神经网络 (CNN) 解码器组成，使其能够适应 2D 和 3D 输入，并在同一编码器中学习相应的语义信息。基于该模型，我们引入了一个三阶段框架：1) 通过自我监督的先验任务利用大量未标记的 3D 病灶体积来学习 Swin-transformer 编码器中病灶解剖学的潜在模式；2) 对 Swin-transformer 编码器进行微调，以使用 2D RECIST 切片执行 2D 病灶分割，学习切片级分割信息；3) 进一步对 Swin-transformer 编码器进行微调，以使用带标签的 3D 体积执行 3D 病灶分割。该网络的性能通过 Dice 相似系数 (DSC) 和 Hausdorff 距离 (HD) 在一个内部的 3D 病灶数据集上进行评估，其中包含来自多个解剖位置的 593 个病灶。所提出的 MDU-ST 相比竞争模型表现出显著改进。该方法可用于进行自动化的 3D 病灶分割以辅助放射组学和肿瘤生长建模研究。本论文已被 IEEE 国际生物医学成像研讨会 (ISBI) 2023 接受。

    Sep, 2023

  • MNet: 重新思考 2D/3D 网络在各向异性医学图像分割中的应用

    该论文提出了一种新的 Mesh 网络（MNet）用于平衡 2D / 3D 卷积神经网络中稀疏的层间信息和密集的层内信息，并在四个公共数据集上进行了综合实验，结果显示 MNet 具有优越性能。

    May, 2022

  • IP-UNet：用于 3D 医学图像分割的强度投影 UNet 架构

    通过对 3D 体积数据进行强度投影分割，IP-UNet 模型在降低内存消耗的同时保持了原始 3D 图像分辨率，并且在乳房钙化检测中表现出类似的分割准确性，但具有更优异的性能。

    Aug, 2023

  • 可解释的二维视觉模型用于三维医学数据

    本研究提出了一种简单的方法，使用 2D 网络和中间特征表示来处理 3D 数据，并使用特征减少模块进行分类，以解决在医学分类的基准测试和实际临床数据中训练成功受限的问题。

    Jul, 2023

  • 使用 3D 注意力 UNet 进行脑肿瘤分割和生存预测

    本文研究了使用卷积神经网络结合注意力机制进行脑肿瘤分割和预测患者生存率的方法，其中应用了一些基于图像、形状和位置信息的新型 Radiomic 特征，并发现像组织学特征直方图、病灶位置、形状以及年龄等临床特征是预测生存率的最为关键的因素。

    Apr, 2021

  • 基于双向 RNN 的 3D 医学图像分割少样本学习

    本文提出了一种基于 3D 少样本学习的器官分割框架，通过学习支撑数据的 2D 片段与查询图像之间的关系，包括一个学习编码特征的双向门控循环单元（GRU），以及在使用任意支撑和查询数据之前通过迁移学习方法更新模型来适应目标图像和器官的特征。在三个 3D CT 数据集上测试，该模型的性能显著优于最先进的少样本分割模型，并且与使用更多目标训练数据训练的完全监督模型相当。

    Nov, 2020

  • 增强单层切片分割通过 3D 转 2D 非配对扫描蒸馏

    本研究提出了一种新颖的 3D 到 2D 蒸馏框架，利用预训练的 3D 模型增强 2D 单层切片分割，并在 707 个受试者数据集上进行的实验证明，该方法能够改善单层多器官分割的性能，尤其在低数据量情况下表现出色。

    Jun, 2024

  • 3D 各向异性混合网络：将卷积特征从 2D 图像转移到 3D 各向异性体积

    研究提出了一种 3D Anisotropic Hybrid Network (AH-Net) 来解决卷积神经网络在 3D 非均质体积下的数据不足和计算量增大的问题，并在两个医学图像分析任务上获得了当今最先进的结果。

    Nov, 2017

  • Med3DInsight：利用 2D 多模态大型语言模型增强 3D 医学图像理解

    通过结合现有的 3D 图像编码器和 2D MLLMs，并通过设计的 Plane-Slice-Aware Transformer（PSAT）模块，提出了一种名为 Med3DInsight 的新颖预训练框架，用于增强对 3D 医学图像的理解。实验证明，在两个下游分割和分类任务中，包括使用 CT 和 MRI 模式的三个公共数据集以及与十多个基准模型的比较中，Med3DInsight 取得了最先进的性能，并且可以轻松集成到任何当前的 3D 医学图像理解网络中，显著提高其性能。

    Mar, 2024