基于混合融合的多序列脑 MRI 综合合成统一框架
本篇研究提出了一种基于生成对抗网络的多输入、多输出的方法,通过利用多个序列的冗余信息,能够在单次扫描中生成患者缺失的磁共振成像序列,该方法在两个不同的 4 序列脑 MRI 数据集上进行了测试,并与单模态和多模态方法进行了比较,结果定量和定性上均优于其竞争方法。
Apr, 2019
本文提出一种可解释的任务特定综合网络,通过训练可调节的任务特定加权平均模块和任务特定注意模块,可视化每个输入序列的贡献并突出网络尝试在合成过程中完善的区域。在 BraTS2021 数据集上的实验证明了该方法在任意序列合成方面具有优异的性能,是当前最先进方法的一步之遥。
Jul, 2023
利用生成对抗网络合成缺失的磁共振成像序列,为医生提供更准确的脑肿瘤诊断和支持人工智能方法在脑肿瘤磁共振成像中的应用。
Oct, 2023
本研究提出了一个基于 Transformer 的模态注入器,用于合成多模态脑 MR 图像,通过从编码器中提取模态不可知特征,然后将其转换为模态特定特征,进而捕捉所有脑结构之间的远距离关系,从而生成更真实的图像。在 BraTS 2018 数据集上进行实验的结果表明,所提出的方法在合成质量方面具有优势。此外,还对脑肿瘤分割任务和不同的条件方法进行了实验。
Feb, 2024
本研究提出了一种基于增强的 Transformer U-Net 架构的多功能多任务神经网络框架,可以同时、选择性和自适应地解决医学图像中的图像分割、实值预测和跨模态转换等关键挑战。通过对人脑 MR 和 CT 图像的公共数据集进行验证,我们将合成 CT 图像的传统问题分解为不同的子任务,包括颅骨分割、HU 值预测和图像顺序重建。为了增强该框架处理多模态数据的多功能性,我们在模型中添加了多个图像通道,并进行了基于 T1 加权和 T2-Flair 图像合成的 CT 图像比较,评估了模型从形态学和像素值角度集成多模态信息的能力。
Dec, 2023
该论文提出了一种新的统一的多模式图像综合方法,包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态,并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性,实验结果表明该方法在处理多种综合任务时具有优越的性能。
Apr, 2023
MHVAE 是一种深度分层变分自动编码器,用于合成不同模态的缺失图像,并可处理输入的不完整图像集。通过引入分层潜在结构的多模态 VAE 扩展,我们采用概率模型融合了多模态图像到共同的潜在表示,并采用对抗学习生成更清晰的图像。我们在关节术中超声和磁共振图像合成的具有挑战性的问题上进行了广泛实验。相对于多模态 VAE、条件 GAN 和当前最先进的统一方法(ResViT),我们的模型表现更好,显示了使用分层潜在表示和基于原则的概率融合操作的优势。我们的代码公开可用于 https://github.com/ReubenDo/MHVAE。
Sep, 2023