本研究提出了一种基于 Transformer 的 Feature Pyramid Fusion Transformer (PFT) 方法，结合学习到的查询和 Feature Pyramid 中的每个空间特征进行交叉注意力和交叉尺度的互补信息交换，提高了面向掩码的语义分割性能，并在三个广泛使用的语义分割数据集上达到了与现有最佳方法相比的最先进的性能。

Jan, 2022

我们提出了一种基于上下文和注意力特征融合增强的卷积神经网络（CNN）和 Transformer 混合网络（CAFCT）模型，用于肝肿瘤分割。在所提出的模型中，引入了其他三个模块：注意力特征融合（AFF）、DeepLabv3 的 Atrous 空间金字塔池化（ASPP）和注意力门（AGs），以改善与肿瘤边界相关的上下文信息，以实现准确的分割。实验结果表明，所提出的 CAFCT 在 Liver Tumor Segmentation Benchmark（LiTS）数据集上分别达到了 90.38% 的平均交并比（IoU）和 86.78% 的 Dice 分数，优于 Pure CNN 或 Transformer 方法，如 Attention U-Net 和 PVTFormer。

Jan, 2024

本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

Jul, 2021

本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

Mar, 2024

本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

Jun, 2021

提出了一种新的模型，即 3D - 粗到细注意力变压器 (3D-C2FT)，通过引入一种新颖的粗到细 (C2F) 注意力机制来编码多视图特征和矫正有缺陷的 3D 对象，以粗到细的方式学习多视图信息流，并在 ShapeNet 和 Multi-view 实际数据集上取得了显著的结果，优于竞争模型。

May, 2022

本文提出了一种新颖的多尺度架构 C2FTrans，它将医学图像分割形式化为粗 - 细过程。其中包含了一个跨尺度全局 Transformer 和一个边界感知局部 Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有 CNN 和基于 Transformer 的方法的表现。

Jun, 2022

提出了一种基于全卷积 transformer 的医疗图像分割模型，该模型可处理各种数据模态，能够有效地提取输入图像的语义依存关系并捕获其分层全局属性，并在多个数据集上表现优异，相对于同类模型具有参数少的特点。

Jun, 2022

提出了一种称为 SemAffiNet 的基于 Transformer 模块的点云语义分割方法，其中采用了语义仿射变换技术来增强中层特征的语义信息，以解决传统方法中对局部几何的过度依赖，有效提高了整体分类效果。

May, 2022

通过多级视觉变换编码器中的多级特征，本文提出了一种新颖的语义分割解码方案，旨在降低计算开销、提高分割准确性，并通过聚合后的语义增强多级特征，从注意力分配的角度保持上下文一致性，大幅降低计算成本。实验结果表明该方案在计算成本上优于现有语义分割模型，且没有准确性损失；深入的消融研究证明了所提出思路的有效性。

Feb, 2024