基于混合卷积 - 变换器架构搜索的实时图像分割
本文提出了一种新的医学图像分割混合架构,手持卷积神经网络和 Transformer,用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能,以实现更好的医学图像分割结果。
Jun, 2023
本研究采用混合卷积神经网络和 Transformer 的混合结构,提出了一种具有自适应特征提取能力和具有全局信息建模的方法,用于医学图像分割。实验结果表明,该方法比现有的方法具有更好的医学图像分割结果。
Jun, 2023
本研究提出了一种新型混合 CNN-Transformer 分割架构 (PAG-TransYnet),通过在双金字塔混合编码器中利用注意力门,利用金字塔输入突出显示不同尺度的突出特征,将 PVT Transformer 引入以捕获多种分辨率的长距离依赖,并通过实施双注意力门机制来有效融合 CNN 和 Transformer 分支的突出特征。通过对不同分割任务的综合评估,包括腹部多器官分割、感染分割 (新冠肺炎和骨转移)、显微组织分割 (腺体和细胞核),所提出的方法展现了领先的性能,并展示了出色的泛化能力。该研究在医学成像应用中对于高效和适应性分割解决方案的迫切需求方面取得了重要进展。
Apr, 2024
本研究提出 UTNet,这是一种简单而强大的混合 Transformer 体系结构,它将 self-attention 集成到卷积神经网络中,以增强医学图像分割,通过在编码器和解码器中应用 self-attention 模块来捕捉不同尺度的长程依赖关系,并提出了一种有效的 self-attention 机制与相对位置编码,从而将 self-attention 操作的复杂度从 $O (n^2)$ 降低到约 $O (n)$。在多标签、多厂商的心脏磁共振成像队列上对 UTNet 进行了评估,所示分割性能优异,对抗最先进的方法表现出很好的鲁棒性,有望在其他医学图像分割中具有广泛的应用前景。
Jul, 2021
采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割,能够更好地捕捉图像中的上下文依赖关系,去除冗余的信息提取并集成本地特征和全局依赖,强调相关特征关联,从而取得更好的分割效果。
Jun, 2019
通过深度神经网络将输入图像映射为简单的二进制哈希码,从而实现有效的大规模图像检索。我们提出了一种名为 HybridHash 的混合卷积和自注意力深度哈希方法,通过引入分阶段架构的骨干网络和块聚合函数来实现局部自注意力效果,并降低计算复杂性,以提高图像块之间的信息交流和视觉表示。实验结果表明,本文提出的方法在三个广泛使用的数据集上具有优越的性能,超过了现有的深度哈希方法。
May, 2024
通过结合 Self-Attention 与广义卷积(包括标准卷积、空洞卷积和深度卷积),Multi-Head Self-Attention Convolution (MSA-Conv) 扩展了 Transformer 模型,使其能够处理不同尺寸的图像,降低了计算成本,并且通过引入两种增强策略实现了长距离连接和扩大的感受野,而在图像分类任务中,Vision Transformer in Convolution (TiC) 利用了 MSA-Conv,在 ImageNet-1K 数据集上与目前最先进的方法具有可比性。
Oct, 2023
引入了 U-Transformer 网络,结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制,有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题,在两个腹部 CT 图像数据集上表现出明显的优势。
Mar, 2021
本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性,并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明,在三组不同的医学图像数据集上,该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。
Feb, 2021
提出了一种新颖的混合多头注意力 U-Net 架构,用于准确的脑肿瘤分割,并捕捉复杂的空间关系和微妙的肿瘤边界。与 SegNet、FCN-8s 和 Dense121 U-Net 架构相比,该模型在评估性能指标方面表现出色。
May, 2024