Nov, 2022

FsaNet: 频率自注意力在语义分割中的应用

PDF
TL;DR通过对图像的频谱特性的研究，我们提出了一个高度降低计算复杂度的自注意机制。通过在不同频段上的个性化处理，可以更好地保留边缘，并在对象内提高相似性。我们设计并嵌入新的插入式模块到 CNN 网络的头部，称为 FsaNet。通过低频自注意力的应用，相对于全频，我们显示可以实现非常接近或更好的性能。相比其他基于 ResNet101 的自注意网络，FsaNet 在 Cityscape 测试数据集上取得了新的最优结果（83.0％mIoU），在 ADE20k 和 VOCaug 上取得了竞争性的结果。
spectral propertiesself-attention mechanismfrequency bandsfsanetstate-of-the-art
发现论文，激发创造
  • FcaNet: 频率通道注意力网络

    该论文提出了在频域进行特征分解以解决通道表示问题的方法，使用多光谱通道注意力机制来实现通道压缩，并在图像分类、物体检测和实例分割任务上取得了优异的效果。

    Dec, 2020

  • 快速注意力实时语义分割

    该论文提出一种新的 CNN 模型结构和快速空间注意力机制，能够在实时高分辨率图像和视频上进行语义分割，同时实现更好的准确性和速度。在 Cityscapes 数据集中，该模型在单个 Titan X GPU 上实现了 74.4％ mIoU 的 72 FPS 和 75.5％ mIoU 的 58 FPS，比现有方法快约 50％，并保持相同的准确性。

    Jul, 2020

  • 医学图像分割的空间频率双重逐步注意力网络

    我们提出了 SF-UNet，这是一个具有空间频率双域注意力网络的模型，用于准确的医学图像分割，并在三个公共数据集上证明其有效性。

    Jun, 2024

  • 聚焦调制网络

    本研究提出了一种基于聚焦调制机制的聚焦调制网络 (FocalNets), 其中自注意力机制被完全替换，实现了对于视觉信息的建模，并在图像分类、目标检测和分割等任务中取得了优越表现。

    Mar, 2022

  • 全注意力网络用于语义分割

    该研究提出了 FLANet 方法，可以通过单个相似度图来同时编码空间和通道注意力，并在三个具有挑战性的语义分割数据集上最先进的性能达到 83.6％，46.99％和 88.5％。

    Dec, 2021

  • 学习面部超分辨率的空间注意力

    本篇论文介绍了一种基于 SPARNet 和 Face Attention Units（FAU）的空间注意力残差网络（SPARNet），能够在处理低分辨率人脸图像时捕捉到关键面部结构并生成高质量和高分辨率的结果。研究表明，该方法在多种度量标准上的表现优于当前最先进的方法，并能够对合成和真实世界低质量人脸图像进行有效泛化，不需要额外的人工标记数据。

    Dec, 2020

  • AttaNet: 一种用于快速和精准场景解析的注意力增强网络

    提出了一种新的模型，称为 AttaNet，用于在保持高效的同时捕获全局上下文和多级语义，通过 Strip Attention 模块和 Attention Fusion 模块实现低复杂度计算和加权特征融合技术，并在两个语义分割基准测试中进行了广泛的实验，取得了不同水平的速度 / 精度平衡和领先的表现。

    Mar, 2021

  • 频域学习

    通过在频域进行学习和频道选择，我们提出了减少冗余和显著信息以提高图像分类精度的学习方法，得出使用该方法的 ResNet-50、MobileNetV2 和 Mask R-CNN 在图像分类和实例分割上表现更好的结论。

    Feb, 2020

  • 低分辨率自注意力用于语义分割

    本文介绍了一种使用低分辨率自注意力机制的视觉 Transformer 模型，以较低的计算成本捕捉全局上下文，并在 ADE20K、COCO-Stuff 和 Cityscapes 数据集上表现出优于现有模型的性能。

    Oct, 2023

  • HartleyMHA: 频域自注意力的分辨率稳健和参数高效的 3D 图像分割

    通过引入 HartleyMHA 模型，结合使用 Hartley 变换和共享参数来减小模型尺寸，同时在频域内应用自注意力机制实现了更高效的高阶特征组合，实现了比其他测试模型少于 1％的模型参数下对训练图像分辨率的优越鲁棒性。

    Oct, 2023