Dec, 2023

学习多轴频域表示在医学图像分割中的应用

PDF
TL;DR基于 U-shape 结构的 Multi-axis External Weights UNet 模型利用频域信息替代 ViT 中的自注意力机制，在医学图像分割中展现出竞争性能。
visual transformermedical image segmentationmulti-axis external weights unetfrequency domain informationcompetitive performance
发现论文，激发创造
  • MaxViT-UNet: 医学图像分割的多轴注意力

    提出了 MaxViT-UNet，一种基于编码器 - 解码器的混合视觉 Transformer，用于医学图像分割，其使用多轴自注意力机制实现了胞核区域的准确分割，并在 MoNuSeg 数据集上实现了比以前的 CNN only 和 Transformer only 技术更好的 Dice 指标。

    May, 2023

  • 基于傅里叶域分析的深度视觉变换器中的防过度平滑技术：从理论到实践

    本研究针对 Vision Transformer 深度增加时性能达到饱和的问题提出了两种有效而无需超参数的技术 AttnScale 和 FeatScale，能够有效克服与注意力折叠和补丁均匀性等相关的 ViT 训练伪像。

    Mar, 2022

  • 基于小波的高频增强在 Transformers 中解锁细粒度细节

    本文介绍一种针对医学图像的局部特征缺失问题的方法，通过重新设计自注意力映射，利用小波变换对输入特征图进行分解，使用高频和低频子带表示粗粒度和细粒度特征，重构自注意力操作并加入高频部分的高斯金字塔，引入多尺度上下文增强块，实现医学图像的准确分割，并经过广泛实验证明了该方法的有效性。

    Aug, 2023

  • 利用频域学习进行三维血管分割

    冠状微血管疾病的风险对人类健康构成了重大威胁。通过计算机辅助分析和诊断系统，医学专业人员可以在疾病进展的早期进行干预，而 3D 血管分割作为关键组成部分。我们利用傅立叶域学习作为 3D 分层分割模型中多尺度卷积核的替代方法，既可以降低计算负荷，又能保持网络内的全局感受野。此外，设计了一个零参数频域融合方法来改进 U-Net 架构中的跳过连接。在一个公共数据集和一个内部数据集上的实验结果表明，我们的新颖傅立叶变换基于网络在管状血管分割任务中取得了显著的骰子性能（ASACA500 上达到 84.37％，ImageCAS 上达到 80.32％），同时还大大减少了计算需求，而不损害全局感受野。

    Jan, 2024

  • FMViT：多频混合视觉 Transformer

    通过设计具有高频和低频特征的 FMViT 混合 Vision Transformer 模型，以及引入 gMLP、RLMHSA 和 CFB 机制来提高模型性能和减少计算开销，我们在各种视觉任务中成功提高了潜在的 TensorRT 和 CoreML 平台上的性能，相比现有的 CNNs，ViTs 和 CNNTransformer 混合架构，FMViT 在性能和计算开销方面取得了卓越的成果。

    Nov, 2023

  • Wave-ViT：融合小波和 Transformer 的视觉表示学习

    本研究通过构建 Wavelet Vision Transformer 来处理多尺度视觉问题，使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，结果表明其在图像识别等多种任务上表现优异。

    Jul, 2022

  • 频率感知变换器用于学习图像压缩

    学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案，然而，现有的 LIC 方法存在潜在的表示冗余问题，限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战，我们提出了一种新颖的频率感知变换器 (FAT) 模块，首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成，用于捕捉自然图像的多尺度和方向频率成分。此外，我们引入了频率调制前馈网络 (FMFFN)，以自适应调制不同频率成分，从而改善了速率失真性能。此外，我们还提出了基于变换器的通道级自回归 (T-CA) 模型，有效地利用了通道依赖性。实验证明，与现有的 LIC 方法相比，我们的方法在速率失真性能上达到了最先进的水平，并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。

    Oct, 2023

  • AgileFormer：用于医学图像分割的空间敏捷 Transformer UNet

    通过引入空间动态组件到视觉变换器 - UNet 中，我们提出一种名为 AgileFormer 的新颖结构，用于处理医学图像分割任务中感兴趣对象的多样外观，实验证明了该方法的有效性。

    Mar, 2024

  • FreMAE: 傅里叶变换融合掩模自编码器用于医疗图像分割

    本文提出了一种基于 MIM 的自监督预训练框架，使用傅里叶变换来整合全局和局部信息，进一步加入多阶段监督以指导预训练阶段的表示学习并在医学图像分割任务中获得了比之前最先进的 MIM 方法更好的性能。

    Apr, 2023

  • MaxViT：多轴视觉变压器

    该研究通过引入多轴关注模型和卷积等新元素，提出了一种高效且可扩展的注意力模型，即 MaxViT。利用 MaxViT 作为骨干网络，在图像分类和物体检测等任务上都取得了领先的性能。同时，该模型还证明了其在图像生成方面的潜在优势。

    Apr, 2022