Oct, 2023

HartleyMHA: 频域自注意力的分辨率稳健和参数高效的 3D 图像分割

PDF
TL;DR通过引入 HartleyMHA 模型，结合使用 Hartley 变换和共享参数来减小模型尺寸，同时在频域内应用自注意力机制实现了更高效的高阶特征组合，实现了比其他测试模型少于 1％的模型参数下对训练图像分辨率的优越鲁棒性。
发现论文，激发创造
  • FNOSeg3D: 鲁棒分辨率三维图像分割与傅里叶神经算子

    FNOSeg3D 模型通过 Fourier 神经算子（FNO）提高了参数效率和分辨率鲁棒性，在 BraTS'19 数据集上表现出优于其他模型的鲁棒性。

    Oct, 2023

  • 基于小波的高频增强在 Transformers 中解锁细粒度细节

    本文介绍一种针对医学图像的局部特征缺失问题的方法，通过重新设计自注意力映射，利用小波变换对输入特征图进行分解，使用高频和低频子带表示粗粒度和细粒度特征，重构自注意力操作并加入高频部分的高斯金字塔，引入多尺度上下文增强块，实现医学图像的准确分割，并经过广泛实验证明了该方法的有效性。

    Aug, 2023

  • FsaNet: 频率自注意力在语义分割中的应用

    通过对图像的频谱特性的研究，我们提出了一个高度降低计算复杂度的自注意机制。通过在不同频段上的个性化处理，可以更好地保留边缘，并在对象内提高相似性。我们设计并嵌入新的插入式模块到 CNN 网络的头部，称为 FsaNet。通过低频自注意力的应用，相对于全频，我们显示可以实现非常接近或更好的性能。相比其他基于 ResNet101 的自注意网络，FsaNet 在 Cityscape 测试数据集上取得了新的最优结果（83.0％mIoU），在 ADE20k 和 VOCaug 上取得了竞争性的结果。

    Nov, 2022

  • 高分辨率 GAN 的改进变压器

    本文介绍了将多维块自注意力与多层感知机结合的 Transformer 模型 HiT，该模型在高清图像生成领域的表现优于传统基于卷积的方法。

    Jun, 2021

  • 3D 脑部瘤分割的 3D 融合 Transformer

    该研究提出了一种基于 3D Transformer 的分割方法，采用无限可变形融合 Transformer 模块 (IDFTM) 和融合头自注意机制 (FHSA) 提取 MRI 图像的长程空间依赖关系特征，通过在公共数据集中对脑肿瘤的分割实验验证，证明其优于其他目前最先进的方法。

    Apr, 2023

  • 如何提升图像修复中的注意力潜力？

    通过连续缩放注意力（CSAttn）方法，无需使用 FFN 来进行图像恢复任务，实验证明一些简单的操作可以显著影响模型性能，并展示了 CSAttn 在图像恢复任务中优于基于 CNN 和 Transformer 的方法。

    Mar, 2024

  • 自适应 Fourier 神经算子：用于 Transformer 的高效标记混合器

    介绍一种名为 AFNO 的比自我注意力机制更有效的方法，它可处理高分辨率图片。它基于操作学习的原理，将令牌混合表示为一种连续的全局卷积，具有线性内存和近似线性时间复杂度，适用于 few-shot 分割任务，优于其他效率更高的自我注意力机制。

    Nov, 2021

  • 基于改进的自注意力机制的高分辨率电力设备识别

    通过基于深度自注意力网络的创新方法，在自动化电气设备巡检方面提供了突破性的新视角，通过使用高分辨率图像提高了识别精度，并通过引入图像的语义内容来进一步改善了预测效果。

    Nov, 2023

  • 多分辨率分析 (MRA) 用于近似自注意力

    利用 Multiresolution Analysis 中的 Wavelets 概念构建一种高效的自我关注模型，同时在短序列和长序列的 NLP 任务上均表现优异。

    Jul, 2022

  • 基于线性变换的轻量级无头信息语义分割

    本文介绍了一种轻量级的语义分割架构，名为自适应频率变换器。它采用并行架构，使用原型表示作为可学习的局部描述来替代解码器，并在高分辨率特征上保留了丰富的图像语义。我们还使用异构运算符（CNN 和 Vision Transformer）进行像素嵌入和原型表示，以进一步节省计算成本。

    Jan, 2023