Aug, 2023

基于小波的高频增强在 Transformers 中解锁细粒度细节

PDF
TL;DR本文介绍一种针对医学图像的局部特征缺失问题的方法，通过重新设计自注意力映射，利用小波变换对输入特征图进行分解，使用高频和低频子带表示粗粒度和细粒度特征，重构自注意力操作并加入高频部分的高斯金字塔，引入多尺度上下文增强块，实现医学图像的准确分割，并经过广泛实验证明了该方法的有效性。
medical image segmentationtransformer modelself-attention mapmulti-scale context enhancement blockskin lesion segmentation
发现论文，激发创造
  • 利用压缩与扩张变换的医学图像分割

    研究使用 transformers 和 Squeeze-and-Expansion Transformer 实现医学影像分割，较传统方法显著提高了分割准确度和跨领域泛化性。

    May, 2021

  • C2FTrans: 用于医学图像分割的粗 - 细双向变换器

    本文提出了一种新颖的多尺度架构 C2FTrans，它将医学图像分割形式化为粗 - 细过程。其中包含了一个跨尺度全局 Transformer 和一个边界感知局部 Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有 CNN 和基于 Transformer 的方法的表现。

    Jun, 2022

  • 基于注意力过滤的医学图像分割的多维 Transformer

    提出了一种面向医学图像分割的多维注意力变换器 (MDT-AF) 方法，通过重新设计补丁嵌入和自注意机制来解决医学图像分割中存在的低信噪比和特征表示容量有限的问题，并取得了当前最先进的性能。

    May, 2024

  • 金字塔医疗转换器用于医学图像分割

    通过应用金字塔形网络结构、多尺度注意力和 CNN 特征提取，我们提出了一种称为金字塔医疗变压器（PMTrans）的新型方法，可以更好地处理医学图像分割任务。在三个医学图像数据集上的实验结果表明，PMTrans 相较于最新的基于 CNN 和变压器的模型，具有更好的性能。

    Apr, 2021

  • 医学图像分割的全卷积 Transformer

    提出了一种基于全卷积 transformer 的医疗图像分割模型，该模型可处理各种数据模态，能够有效地提取输入图像的语义依存关系并捕获其分层全局属性，并在多个数据集上表现优异，相对于同类模型具有参数少的特点。

    Jun, 2022

  • HiFormer: 使用 Transformer 实现的分层多尺度表示，用于医学图像分割

    本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

    Jul, 2022

  • 特征调制变换器：通过高频先验交叉精炼全局表示用于图像超分辨率

    我们研究了基于 transformer 的单图像超分辨率方法，并发现 transformer 结构在捕捉低频信息方面更加擅长，但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构的优势，在多个数据集上实验结果表明，CRAFT 方法在参数更少的情况下比当前最先进的方法提高了 0.29dB。

    Aug, 2023

  • HartleyMHA: 频域自注意力的分辨率稳健和参数高效的 3D 图像分割

    通过引入 HartleyMHA 模型，结合使用 Hartley 变换和共享参数来减小模型尺寸，同时在频域内应用自注意力机制实现了更高效的高阶特征组合，实现了比其他测试模型少于 1％的模型参数下对训练图像分辨率的优越鲁棒性。

    Oct, 2023

  • 带有空间共变性的引导式分组小波变换器用于超高分辨率分割

    本文提出了一种基于 Guided Patch-Grouping Wavelet Transformer 的 Transformer-CNN 相互学习框架，其中通过将原始 UHR 图像划分为补丁并在动态分组中对其进行轻量级多头小波变换器（WFormer）网络的学习来学习低级别本地细节，同时也可以捕获这个过程中的细粒度长距离上下文依赖，并利用 CNN 生成的掩码来指导贴图分组过程，提供一种启发式决策；同时利用两个分支之间的一致性约束来维护图像块之间的空间一致性，实验结果表明该方法在五个基准数据集上展现出较好的性能。

    Jul, 2023

  • 基于线性变换的轻量级无头信息语义分割

    本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。

    Jan, 2023