通过构建 CNN 式 Transformer（ConvFormer）来提升更好的注意力收敛，从而获得更好的分割性能。

Sep, 2023

本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

Jul, 2022

本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。

Jan, 2022

本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

Mar, 2022

本文介绍了一种新型的编码器 - 解码器结构的 LAPFormer 模型，使用分层 Transformer 编码器来提取全局特征，并结合了用于捕获息肉局部外观的 CNN 解码器，包括渐进特征融合模块，特征细化模块和特征选择模块来处理特征，模型在多个息肉分割数据集上进行测试表现良好。

Oct, 2022

通过使用多阶段 CNN 特征注入的 Transformer 网络，我们提出了一种名为 CINFormer 的 UNet 结构，以实现表面缺陷分割。CINFormer 在编码器中采用了简单而有效的特征整合机制，将输入图像的多层级 CNN 特征注入到 Transformer 网络的不同阶段，以保持 CNN 捕捉详细特征的优点和 Transformer 压制背景噪音的优点，从而实现准确的缺陷检测。此外，CINFormer 通过引入 Top-K 自注意力模块，可以聚焦于与缺陷相关的更重要信息的标记，以进一步减少冗余背景的影响。通过在 DAGM 2007、磁砖和 NEU 等表面缺陷数据集上进行的大量实验证明，CINFormer 在缺陷检测方面达到了最先进的性能。

Sep, 2023

本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

Jan, 2022

我们提出了一种新的变换器解码器 U-MixFormer，基于 U-Net 结构设计的，用于高效的语义分割。通过在编码器和解码器阶段之间利用侧连接作为特征查询，我们的方法与以前的变换器方法有所不同。此外，我们创新地混合来自各个编码器和解码器阶段的分层特征图，形成一个统一的键和值表示，从而产生我们独特的混合注意模块。大量实验证明，U-MixFormer 在各种配置上表现出色，并且在 ADE20K 上使用 MSCAN-T 编码器的 mIoU 比 SegFormer 和 FeedFormer 高出 3.3%。

Dec, 2023

介绍了一种新的医学图像分割模型 ——nnFormer，利用了 3D Transformer 模型的自注意机制，相比之前的 Transformer 模型在三个公开数据集上都取得了更好的性能。

Sep, 2021

本文提出了基于 Transformer 编码器、三个标准模块（包括串级融合模块，伪装识别模块和相似聚合模 块）的息肉分割方法，名为 Polyp-PVT。实验结果表明，该方法在人口学多样性、外观变化，甚至缺失数据方 面都具有较好的鲁棒性。

Aug, 2021