Mar, 2024

通过同时进行功能性 PET/MR 和深度整合的脑代谢、血流动力学和灌注网络，革命性地改变疾病诊断

PDF
TL;DR提出了 MX-ARM，一种多模态混合专家对齐与重建模型，通过学习可调权重的不同多层感知器（“专家混合”），动态地从不同模态学习相应的特征表示。实验证明该模型在诊断轻度认知障碍的多模态 sf-PET/MR 数据上具有临床可行的精准医学效果。
simultaneous functional pet/mrmultimodal neuroimaging techniquemx-armmodality detachable and exchangeablemultimodal sf-pet/mr data
发现论文，激发创造
  • 用于从 sMRI 和 PET 扫描早期诊断阿尔茨海默病的多模态图神经网络

    采用深度学习模型结合多模态数据进行阿尔茨海默病的早期诊断，通过图神经网络框架将结构和功能融合，提高诊断效果。

    Jul, 2023

  • 功能成像约束下的脑 PET 合成与结构 MRI

    通过提出一种功能成像受限扩散（FICD）框架，该框架利用配对结构 MRI 对三维脑 PET 图像进行合成，引入了一种新的约束扩散模型（CDM），并通过稳定的训练阶段在高输出保真度的同时确保大脑功能信息的保留。定量和定性分析表明，FICD 在生成 FDG-PET 数据方面的性能优于现有的方法，并通过三个下游任务在共计 1,262 个受试者的数据上验证了所提出的 FICD 的有效性和通用性。

    May, 2024

  • 联合扩散：PET-MRI 协同重建的相互一致驱动扩散模型

    该研究提出了一种新的 PET-MRI 联合重建模型，名为 MC-Diffusion，利用互补信息学习 PET 和 MRI 的联合概率分布，加速 MRI 并提高 PET 图像质量，实验证明 MC-Diffusion 在 ADNI 数据集上取得了显著的定性和定量改进，超过了现有方法。

    Nov, 2023

  • DUAL-GLOW：用于模态转换的条件流式生成模型

    本文介绍了采用基于流的生成模型从 MRI 数据中生成 PET 图像的新框架：DUAL-GLOW，该框架依赖于两个可逆网络和一个关系网络，它们能够在小样本大小的情况下表现出色，并且还将该框架扩展到当可用 “side” 信息时支持，我们在 Alzheimers Disease Neuroimaging Initiative (ADNI) 数据集上进行实验，在合成 PET 图像方面表现出色，从年龄方面控制的 PET 生成效果也很好。

    Aug, 2019

  • 利用联合扩散注意力模型从高场和超高场 MR 图像合成 PET 图像

    提出了一种基于高场 MRI 和超高场 MRI 的 PET 合成方法。采用的模型为有扩散过程和采样过程的联合扩散注意力模型，并学习了 MRI 和添加高斯噪声的 PET 的联合概率分布。实验证明该方法在高场 MRI 上优于目前最先进的 CycleGAN 方法，并尝试使用该方法生成来自超高场 MRI 的 PET 图像，为超高场 PET-MRI 成像提供了可能。

    May, 2023

  • 一种可解释的跨注意力多模态 MRI 融合框架用于精神分裂症诊断

    我们提出了一种名为 CAMF 的新型 Cross-Attentive Multi-modal Fusion 框架，能够捕捉 fMRI 和 sMRI 之间的内部和互间关系，优化多模态数据表示。通过在两个广泛的多模态脑成像数据集上的评估，CAMF 明显提高了分类准确性，并且可以解释与精神分裂症相关的重要功能网络和脑区域的生物标记物，为精神分裂症的诊断和病理内表型提供新的见解。

    Mar, 2024

  • 结构性 MR 和 FDG-PET 图像的多模态和多尺度深度神经网络用于早期诊断阿尔茨海默病

    本文提出了一个利用多模态和多尺度深度神经网络的新框架来早期诊断阿尔茨海默病，能够更好地表征人脑变化，并比现有文献的结果具有更好的区别能力。该方法在 3 年内预测致残的受试者的准确度为 85.68％。

    Oct, 2017

  • 基于放射学的神经结构搜索的多模态信息融合

    本研究提出一种多模态神经架构搜索（MM-NAS）方法，用于自动得出较优的多模态图像特征，以生成 radiomics 并避免依赖手动过程。在公共 PET-CT 数据集中验证结果表明，相较于最先进的 radiomics 方法，我们的多模态神经架构搜索方法在软组织肉瘤中的预测可靠度更高。

    Jul, 2020

  • 多模态证据融合网络用于可信 PET/CT 肿瘤分割

    在计算机辅助肿瘤诊断和治疗中，精确分割 PET/CT 图像对癌症的诊断和治疗非常重要。本文提出了一种新颖的多模态证据融合网络（MEFN），通过交叉模态特征学习（CFL）模块和多模态可信融合（MTF）模块，以有效整合 PET 和 CT 图像中的互补信息并考虑模态不确定性，进而提高肿瘤分割的准确性和可信度。通过在两个公开的 PET/CT 数据集上进行广泛的对比实验，结果表明我们的方法在 DSC 评分上分别比现有方法提高了 2.15% 和 3.23%。此外，我们的模型还能够为放射科医生提供可信的分割结果不确定性，对于临床应用非常重要。

    Jun, 2024

  • PASTA: 具有扩散模型的病理感知 MRI 到 PET 的跨模态翻译

    提出了一种基于条件扩散模型的新型病理感知图像转换框架 PASTA，通过高度互动的双臂架构和多模态条件集成，PASTA 在保留目标模态中的结构和病理细节方面优于现有方法，并采用循环交换一致性和体积生成策略提高了生成的高质量 3D PET 扫描能力，定性和定量结果证实，通过 PASTA 合成的 PET 扫描不仅达到最佳定量分数，而且正确保留了病理学。对阿尔茨海默病分类而言，合成扫描的性能比 MRI 提高了 4%，几乎达到实际 PET 的性能。

    May, 2024