Feb, 2024

ScribFormer:基于Transformer的涂鸦式医学图像分割中改进CNN的方法

TL;DR本文提出了一种用于基于线条注释的医学图像分割的新型基于CNN-Transformer混合的方案,名为ScribFormer,它具有三个分支结构:CNN分支、Transformer分支和注意力引导的类激活图(ACAM)分支。通过CNN分支与Transformer分支的协同作用,可以融合从CNN学习的局部特征和从Transformer得到的全局表示,从而有效克服了现有基于线条注释的分割方法的局限性。此外,ACAM分支进一步帮助统一浅层卷积特征和深层卷积特征,以进一步提高模型的性能。在两个公共数据集和一个私有数据集上进行的大量实验证明,我们的ScribFormer模型在性能上优于最先进的基于线条注释的分割方法,并且甚至比完全监督的分割方法取得更好的结果。