Dec, 2023

基于多任务神经网络框架的多模态 MRI 数据增强 CT 图像合成

PDF
TL;DR本研究提出了一种基于增强的 Transformer U-Net 架构的多功能多任务神经网络框架，可以同时、选择性和自适应地解决医学图像中的图像分割、实值预测和跨模态转换等关键挑战。通过对人脑 MR 和 CT 图像的公共数据集进行验证，我们将合成 CT 图像的传统问题分解为不同的子任务，包括颅骨分割、HU 值预测和图像顺序重建。为了增强该框架处理多模态数据的多功能性，我们在模型中添加了多个图像通道，并进行了基于 T1 加权和 T2-Flair 图像合成的 CT 图像比较，评估了模型从形态学和像素值角度集成多模态信息的能力。
发现论文，激发创造
  • 跨模态医学图像分割的简单而强大的框架: Vision Transformers 应用

    通过使用单一的条件模型，根据输入类型调整其归一化层来实现多模态图像的公平图像分割，并在多模态全心分割挑战中优于其他跨模态分割方法。

    Oct, 2023

  • 基于 CNN-Transformer 网络的多模态特征蒸馏用于不完整模态的脑肿瘤分割

    提出了一种采用 CNN-Transformer 混合网络的多模态特征蒸馏的准确脑肿瘤分割方法，用于处理缺少模态的脑肿瘤图像，通过多个模块实现了特征提取和融合，提高了缺失模态情况下的分割性能，实验证明了方法的有效性。

    Apr, 2024

  • 脑肿瘤分割的处理和迁移学习的优化框架

    基于 3D U-Net 模型的多模态脑肿瘤分割框架在验证数据集上实现了 Challenges 1、2 和 3 分别为 0.79、0.72、0.74 的平均病灶 Dice 分数。

    Feb, 2024

  • 结构注意力：重新思考用于非配对医学图像合成的 Transformer

    通过引入结构感知偏置的 UNet Structured Transformer（UNest）架构，本研究成功提高了在无配对数据的情况下进行医学图像合成的性能，实现了新的医学图像合成方法，在三个模态（MR、CT 和 PET）的两个公共数据集上，相对于最近的方法改进了高达 19.30% 的六个医学图像合成任务的性能。

    Jun, 2024

  • 3D TransUNet：通过视觉 Transformer 提升医学图像分割

    通过在 2D TransUNet 体系结构的基础上建立在最先进 nnU-Net 体系结构的基础上，充分探索 Transformers 在编码器和解码器设计中的潜力，我们引入了两个关键组件：1）一个从卷积神经网络（CNN）特征图中令图像块标记化的 Transformer 编码器，从而实现全局上下文的提取；2）一个自适应地利用候选区域和 U-Net 特征之间的交叉注意力进行候选区域的精炼的 Transformer 解码器。我们的研究发现，不同的医学任务受益于不同的体系结构设计。Transformer 编码器在多器官分割中表现出色，其中器官之间的关系至关重要。另一方面，Transformer 解码器在处理小而具有挑战性的分割目标（如肿瘤分割）方面更有益处。大量实验证明了将基于 Transformer 的编码器和解码器集成到 U 型医学图像分割体系结构中的巨大潜力。TransUNet 在各种医学应用中超越竞争对手。

    Oct, 2023

  • 应用混合融合变压器处理多序列 MRI

    通过利用多序列 MRI 图像进行医学分割，使用混合融合 Transformer 方法来提高脑肿瘤分割的效果。

    Nov, 2023

  • 基于 Transformer 的多模态脑 MR 影像分解转换器

    本研究提出了一个基于 Transformer 的模态注入器，用于合成多模态脑 MR 图像，通过从编码器中提取模态不可知特征，然后将其转换为模态特定特征，进而捕捉所有脑结构之间的远距离关系，从而生成更真实的图像。在 BraTS 2018 数据集上进行实验的结果表明，所提出的方法在合成质量方面具有优势。此外，还对脑肿瘤分割任务和不同的条件方法进行了实验。

    Feb, 2024

  • 3D 多模 MRI 扫描中脑肿瘤的综合分割

    通过使用卷积神经网络和生成式对抗网络，研究人员成功地应用高对比度图像来增加自动分割 MRI 脑肿瘤的准确性，预测病人生存时间。

    Sep, 2019

  • 融合跨模态幻觉 MRI 和 CT 辅助纵隔肺肿瘤分割

    本文提出一种名为 CMEDL 的交叉模态教育深度学习分割方法，通过利用低辐射剂量的计算机体层扫描图像，结合核磁共振成像技术中的软组织成像信息，用神经网络进行训练与分割，有效提高其肺肿瘤数据分割的准确性。

    Sep, 2019

  • 用于精确生物医学图像分割的多化合物转换器

    本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

    Jun, 2021