使用Transformer的Claw U-Net用于医学图像分割的TransClaw U-Net
U-net是一种主要用于医学图像分析的图像分割技术,可以使用少量的训练数据对图像进行精确分割。本文回顾了U-net架构的各种发展,并探讨了最近的趋势。我们研究了深度学习中的各种创新,并讨论了这些工具如何促进U- net。此外,我们还研究了U-net已应用的图像模态和应用领域。
Nov, 2020
本文提出了一种新的医学图像分割框架TransUNet,它将Transformers和U-Net结合起来,通过编码全局上下文和恢复本地细节信息来实现更精确的分割,针对不同的医学应用,TransUNet优于其他竞争方法。
Feb, 2021
引入了U-Transformer网络,结合了用于图像分割的U形模型和Transformer的自注意和交叉注意力机制,有效地克服了U-Net难以对长程上下文交互和空间依赖性建模的问题,在两个腹部CT图像数据集上表现出明显的优势。
Mar, 2021
本研究提出了Dual Swin Transformer U-Net (DS-TransUNet)框架,它是第一次尝试将Swin Transformer的优势同时融入到标准U形架构的编码器和解码器中,以提高不同医学图像的语义分割质量。实验表明,DS-TransUNet显著优于现有的医学图像分割方法。
Jun, 2021
本研究提出UTNet,这是一种简单而强大的混合Transformer体系结构,它将self-attention集成到卷积神经网络中,以增强医学图像分割,通过在编码器和解码器中应用self-attention模块来捕捉不同尺度的长程依赖关系,并提出了一种有效的self-attention机制与相对位置编码,从而将self-attention操作的复杂度从 $O(n^2)$ 降低到约 $O(n)$。在多标签、多厂商的心脏磁共振成像队列上对UTNet进行了评估,所示分割性能优异,对抗最先进的方法表现出很好的鲁棒性,有望在其他医学图像分割中具有广泛的应用前景。
Jul, 2021
提出了一种全局-局部的U-Netmer方法,将U-Net与Transformer结合,用于医学图像分割,解决了“token-flatten”和“scale-sensitivity”的问题,并在7个公共数据库和4种成像模式上进行了广泛的实验,证明了其能够提高医学图像分割的准确性。
Apr, 2023
本研究采用混合卷积神经网络和Transformer的混合结构,提出了一种具有自适应特征提取能力和具有全局信息建模的方法,用于医学图像分割。实验结果表明,该方法比现有的方法具有更好的医学图像分割结果。
Jun, 2023
通过在2D TransUNet体系结构的基础上建立在最先进nnU-Net体系结构的基础上,充分探索Transformers在编码器和解码器设计中的潜力,我们引入了两个关键组件:1)一个从卷积神经网络(CNN)特征图中令图像块标记化的Transformer编码器,从而实现全局上下文的提取;2)一个自适应地利用候选区域和U-Net特征之间的交叉注意力进行候选区域的精炼的Transformer解码器。我们的研究发现,不同的医学任务受益于不同的体系结构设计。Transformer编码器在多器官分割中表现出色,其中器官之间的关系至关重要。另一方面,Transformer解码器在处理小而具有挑战性的分割目标(如肿瘤分割)方面更有益处。大量实验证明了将基于Transformer的编码器和解码器集成到U型医学图像分割体系结构中的巨大潜力。TransUNet在各种医学应用中超越竞争对手。
Oct, 2023
将卷积神经网络和Transformer架构相结合,提出了一种先进的二维特征提取方法,利用平行编码器和通道注意模块实现更好的医学图像分割准确性。
Jan, 2024
本研究解决了U-Net架构在医学图像分割中参数过多和计算负担重的问题。提出的TransUKAN通过改进KAN结构,有效结合了KAN、Transformer和U-Net,显著提高了模型捕捉非线性关系的能力,并在多个医学图像分割任务中验证了其卓越性能,参数显著减少。
Sep, 2024