跨模态医学图像分割的简单而强大的框架: Vision Transformers 应用
本研究提出一种交互式图像分割网络,利用跨模态视觉 transformers 来更好地指导学习过程,并且在多个基准测试中实现了优越的性能表现,具有实用的注释工具潜力。
Jul, 2023
本研究提出了一种基于增强的 Transformer U-Net 架构的多功能多任务神经网络框架,可以同时、选择性和自适应地解决医学图像中的图像分割、实值预测和跨模态转换等关键挑战。通过对人脑 MR 和 CT 图像的公共数据集进行验证,我们将合成 CT 图像的传统问题分解为不同的子任务,包括颅骨分割、HU 值预测和图像顺序重建。为了增强该框架处理多模态数据的多功能性,我们在模型中添加了多个图像通道,并进行了基于 T1 加权和 T2-Flair 图像合成的 CT 图像比较,评估了模型从形态学和像素值角度集成多模态信息的能力。
Dec, 2023
本文提出了一种新的医学图像分割混合架构,手持卷积神经网络和 Transformer,用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能,以实现更好的医学图像分割结果。
Jun, 2023
医学图像分割是各种医疗应用中至关重要的一环,能够实现准确的诊断、治疗规划和疾病监测。最近,视觉变换器(ViTs)作为一种有望解决医学图像分割挑战的技术逐渐崭露头角。本综述论文对于医学图像分割中 ViTs 和混合视觉变换器(HVTs)的最新发展进行了详细的回顾。除了对 ViT 和 HVT 的分类外,还详细介绍了它们在几种医学图像模态中的实时应用。这篇综述可以作为研究人员、医疗从业者和学生了解 ViT 基于医学图像分割的最新方法的有价值的资源。
Dec, 2023
本研究提出了一种通用的交叉模态医学图像合成方法,通过端到端的三维卷积神经网络实现具有真实感的立体图像合成和分割任务,以便作为补充训练样本,进一步提高分类器的泛化能力,生成放射疗法计划所需的 X-ray 衰减图等。对 4,496 个 CT 和磁共振成像 (MRI) 心血管体积的广泛实验表明,两个任务相互促进,耦合这两个任务比单独解决它们更有利。
Feb, 2018
我们提出了一种名为 MoDATTS 的新的半监督训练策略,用于处理自动医学图像分割中存在的模态遗传性问题,并通过图像转换和视觉转换器实现更准确的肿瘤分割。该模型在 CrossMoDA 2022 挑战中表现出优越的性能,并在 BraTS 2020 挑战数据集上显示出一致的改进。
Sep, 2023
本文提出了在监督医学图像分析中进行图像融合方案的概念架构,实现了基于卷积神经网络的三种图像融合方案,并将其结合成单个框架,用于同时分析多模式图像,检测软组织肉瘤的存在,并发现在特征级别融合的情况下,性能最好,但当任何图像模式存在大误差时,其鲁棒性会降低。
Oct, 2017
通过引入创新的多模态信息交叉变换器(MicFormer),本研究在多模态图像任务中成功整合不同模态之间的相关信息,显著提高了分割性能,表明 MicFormer 在多模态图像任务中具有广泛的应用潜力。
Apr, 2024
本文综述了基于 transformer 的视觉分割技术,总结了近期的进展,详细介绍了各种方法设计和应用,并对该领域的未来研究方向进行了探讨。
Apr, 2023
本文提出了 MDViT,这是第一个包含领域适配器的多领域 ViT,通过自适应地利用多个小型数据资源 (领域) 中的知识来减轻数据饥饿和对抗 NKT,实现增强跨领域的表示学习。在 4 个皮肤病变分割数据集上的实验表明,MDViT 胜过了最先进的算法,在推理时具有更好的分割性能和固定模型大小,即使增加更多的领域。
Jul, 2023