Feb, 2024

基于 Transformer 的多模态脑 MR 影像分解转换器

PDF
TL;DR本研究提出了一个基于 Transformer 的模态注入器，用于合成多模态脑 MR 图像，通过从编码器中提取模态不可知特征，然后将其转换为模态特定特征，进而捕捉所有脑结构之间的远距离关系，从而生成更真实的图像。在 BraTS 2018 数据集上进行实验的结果表明，所提出的方法在合成质量方面具有优势。此外，还对脑肿瘤分割任务和不同的条件方法进行了实验。
multimodal magnetic resonance imaginggenerative adversarial networkstransformer-based modality infuserbrain mr imagesbrats dataset
发现论文，激发创造
  • mmFormer：用于不完整多模态脑肿瘤分割的多模态医学 Transformer

    该研究提出了一种多模态医学 Transformer (mnFormer)，用于不完整多模态学习的脑肿瘤分割，并且该方法在 BraTS 2018 数据集上显示出了比现有方法更好的表现。

    Jun, 2022

  • 基于 CNN-Transformer 网络的多模态特征蒸馏用于不完整模态的脑肿瘤分割

    提出了一种采用 CNN-Transformer 混合网络的多模态特征蒸馏的准确脑肿瘤分割方法，用于处理缺少模态的脑肿瘤图像，通过多个模块实现了特征提取和融合，提高了缺失模态情况下的分割性能，实验证明了方法的有效性。

    Apr, 2024

  • 基于混合融合的多序列脑 MRI 综合合成统一框架

    提出了一种名为混合融合生成对抗网络（HF-GAN）的新型统一框架，通过多模式磁共振成像，使得通过补充信息来提供可靠的临床应用诊断。实验证明，该方法在数据插补任务中表现出优异的性能，并且比现有方法在定量和定性比较方面更加优越。

    Jun, 2024

  • TransMed: 基于 Transformers 的多模态医学图像分类

    该研究提出了一种结合了 CNN 和 transformer 的方法 ——TransMed，在多模态医学图像分类中取得了很好的性能，这一方法为医学图像分析任务开启了更多可能性。

    Mar, 2021

  • 基于多任务神经网络框架的多模态 MRI 数据增强 CT 图像合成

    本研究提出了一种基于增强的 Transformer U-Net 架构的多功能多任务神经网络框架，可以同时、选择性和自适应地解决医学图像中的图像分割、实值预测和跨模态转换等关键挑战。通过对人脑 MR 和 CT 图像的公共数据集进行验证，我们将合成 CT 图像的传统问题分解为不同的子任务，包括颅骨分割、HU 值预测和图像顺序重建。为了增强该框架处理多模态数据的多功能性，我们在模型中添加了多个图像通道，并进行了基于 T1 加权和 T2-Flair 图像合成的 CT 图像比较，评估了模型从形态学和像素值角度集成多模态信息的能力。

    Dec, 2023

  • 生成对抗网络用于大脑影像合成的综述

    本文主要介绍了使用生成对抗网络（GAN）进行医学图像合成的研究。作者总结了最近应用 GAN 进行交叉模态大脑图像合成的进展，包括 CT 合成 PET、CT 合成 MRI、MRI 合成 PET 以及相反的方向。

    May, 2023

  • 合成脑图像：用生成对抗模型弥合脑部映射中的差距

    使用深度卷积生成对抗网络（DCGAN）合成高保真和逼真的 MRI 图像切片，为医学影像研究提供深度学习技术的应用。

    Apr, 2024

  • 3D 多模 MRI 扫描中脑肿瘤的综合分割

    通过使用卷积神经网络和生成式对抗网络，研究人员成功地应用高对比度图像来增加自动分割 MRI 脑肿瘤的准确性，预测病人生存时间。

    Sep, 2019

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023