Mar, 2024

一种可解释的跨注意力多模态 MRI 融合框架用于精神分裂症诊断

PDF
TL;DR我们提出了一种名为 CAMF 的新型 Cross-Attentive Multi-modal Fusion 框架，能够捕捉 fMRI 和 sMRI 之间的内部和互间关系，优化多模态数据表示。通过在两个广泛的多模态脑成像数据集上的评估，CAMF 明显提高了分类准确性，并且可以解释与精神分裂症相关的重要功能网络和脑区域的生物标记物，为精神分裂症的诊断和病理内表型提供新的见解。
functional magnetic resonance imagingstructural magnetic resonance imagingcamfmulti-modal fusionschizophrenia
发现论文，激发创造
  • 多维嵌入感知的模态融合变压器用于精神障碍分类

    我们提出了一种基于多维嵌入感知的模态融合变压器（MFFormer）来使用静息状态功能磁共振成像（rs-fMRI）和 T1 加权结构磁共振成像（T1w sMRI）对精神分裂症和双相障碍进行分类，实验结果表明我们的 MFFormer 在精神分裂症和双相障碍诊断上表现优于单一或多模态 MRI。

    Oct, 2023

  • CrossFuse：一种基于交叉注意力机制的红外和可见光图像融合新方法

    提出了一种新颖的跨模态注意机制（CAM）来增强互补信息，并提出了基于两阶段训练策略的融合方案，实验结果表明我们提出的融合方法在融合网络中获得了 SOTA 级别的性能。

    Jun, 2024

  • 三维医学图像融合与可变形交叉注意力

    创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

    Oct, 2023

  • 基于混合融合的多序列脑 MRI 综合合成统一框架

    提出了一种名为混合融合生成对抗网络（HF-GAN）的新型统一框架，通过多模式磁共振成像，使得通过补充信息来提供可靠的临床应用诊断。实验证明，该方法在数据插补任务中表现出优异的性能，并且比现有方法在定量和定性比较方面更加优越。

    Jun, 2024

  • 通过同时进行功能性 PET/MR 和深度整合的脑代谢、血流动力学和灌注网络，革命性地改变疾病诊断

    提出了 MX-ARM，一种多模态混合专家对齐与重建模型，通过学习可调权重的不同多层感知器（“专家混合”），动态地从不同模态学习相应的特征表示。实验证明该模型在诊断轻度认知障碍的多模态 sf-PET/MR 数据上具有临床可行的精准医学效果。

    Mar, 2024

  • 通过条件 ViT-GANs 实现结构 MRI 和功能连接网络的跨模态综合

    本研究使用条件视觉变换生成对抗网络（cViT-GANs）基于 sMRI 输入生成 FNC 数据，为精神分裂症等领域的医学影像研究提供了新的探索，实验结果显示 cViT-GAN 模型能够有效地合成每个个体的 FNC 矩阵，并获得与实际 FNC 矩阵的 0.73 的皮尔逊相关系数，同时展示了模型捕捉特定脑部区域的结构 - 功能关联的能力，与 Pix2Pix 等条件卷积神经网络（CNN）的生成对抗网络相比具有更好的性能。

    Sep, 2023

  • 利用解缠变分自编码器融合结构和功能连接性以检测 MCI

    考虑到多模态神经影像具有互补信息，本文提出了一种新的层次结构 - 功能连接融合（HSCF）模型，并在 ADNI 数据库上进行了测试，结果显示该模型在分类评估方面的表现优于其它竞争模型，能够更好地生成脑结构 - 功能连接并识别认知疾病的异常大脑连接。

    Jun, 2023

  • 基于局部到全局的跨模态注意力融合方法用于 HSI-X 语义分割

    本研究提出了一种用于高光谱图像和 X 模态图像分类的 Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF) 框架，通过像素级的两分支语义分割架构从两种模态中学习信息并进行特征融合和预测，实现了优秀的性能和普适性。

    Jun, 2024

  • 自我关注机制和潜在空间项目 - 响应模型的功能磁共振连接可解释融合分析框架

    本文提出一种基于深度学习和功能连接网络分析的认知障碍疾病分类方法，通过自注意力模型和潜空间项目 - 响应交互网络模型解释分类结果，发现与其他疾病不同的显著功能连接模式。

    Jul, 2022

  • 双金字塔多模态融合方法用于双相障碍的诊断

    利用脑部结构磁共振成像和功能磁共振成像数据，结合融合策略，提出了一种新颖的多模态诊断模型，用于双相情感障碍的诊断。实验证明，该方法在 OpenfMRI 数据集上的平衡准确度从 0.657 提升至 0.732，达到了最先进水平。

    Jan, 2024