Sep, 2023

语义分割的注意力网络的实证研究

PDF
TL;DR语义分割是计算机视觉中的一个重要问题。近期，采用端到端卷积神经网络的语义分割算法比传统方法更准确。然而，基于注意力机制的解码器在多个数据集上已经达到了最先进的性能，但这些网络通常只与之前的最佳网络的 mIoU 进行比较，忽略了它们的特点，并未考虑到不同类别中的计算复杂性和精度，这在工程应用中是必不可少的。此外，分析 FLOPs 和内存的方法在不同网络之间不一致，使得比较难以使用。此文首先进行实验以分析其计算复杂性并比较其性能。然后总结适用于这些网络的场景，并得出构建注意力网络时应关注的关键点。最后，指出了注意力网络的一些未来方向。
semantic segmentationconvolution neural networkdecodersattentioncomputation complexity
发现论文，激发创造
  • 语义分割的压缩注意力网络

    本文提出了一种新颖的挤压和注意力（SA）模块，结合传统卷积实现像素组关注和像素级预测，最终通过融合四个层次的 SANet 的输出来集成多尺度的上下文信息，从而实现了在 PASCAL VOC 和 PASCAL 上的语义分割任务中表现出色。

    Sep, 2019

  • 用于语义分割的融合注意力网络，在极高分辨率遥感图像中的应用

    本文提出了一种多路径编码器结构来提取多路径输入的特征，多路径注意力融合块模块来融合多路径特征，以及细化注意力融合块模块来融合高层抽象特征和低层空间特征。同时，提出了一种新的卷积神经网络架构，名为注意力融合网络 (AFNet)。基于该 AFNet，在 ISPRS Vaihingen 2D 数据集上达到了 91.7% 的整体精度和 90.96% 的平均 F1 分数，在 ISPRS Potsdam 2D 数据集上达到了 92.1% 的整体精度和 93.44% 的平均 F1 分数，取得了最先进的性能。

    May, 2021

  • SpotNet: 自注意力多任务网络用于目标检测

    本研究旨在通过多任务学习方式训练一个网络实现视觉注意力，使用半监督学习方式生成前 / 背景分割标签，进而训练目标检测模型，利用分割地图实现自我注意机制，获得在交通监控领域两个数据集上显著的 mAP 改进，UA-DETRAC 和 UAVDT 数据集上均实现了最先进的结果。

    Feb, 2020

  • 快速注意力实时语义分割

    该论文提出一种新的 CNN 模型结构和快速空间注意力机制，能够在实时高分辨率图像和视频上进行语义分割，同时实现更好的准确性和速度。在 Cityscapes 数据集中，该模型在单个 Titan X GPU 上实现了 74.4％ mIoU 的 72 FPS 和 75.5％ mIoU 的 58 FPS，比现有方法快约 50％，并保持相同的准确性。

    Jul, 2020

  • 注意力网络中的深度特征分析

    该研究提出了一种基于注意力机制的深度神经网络模型解释方法，通过可视化生成的热图分析分类准确性和注意力之间的关系，并证明了使用改进注意力方法可以更好的展示分类器的解释。

    Jan, 2019

  • 语义关注下的图像字幕生成

    本文提出了一种融合上下文语境的自动图像描述算法，通过自下而上的计算和语义关注的上下文交互作用，成功在 Microsoft COCO 和 Flickr30K 两个公开基准测试中取得了明显的优于现有算法的结果。

    Mar, 2016

  • 医学图像分割的多尺度自引导注意力

    采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

    Jun, 2019

  • 全注意力网络用于语义分割

    该研究提出了 FLANet 方法，可以通过单个相似度图来同时编码空间和通道注意力，并在三个具有挑战性的语义分割数据集上最先进的性能达到 83.6％，46.99％和 88.5％。

    Dec, 2021

  • 关注尺度：尺度感知的语义图像分割

    本论文研究了怎样在卷积神经网络中实现多尺度特征表示，提出了一种注重对每个像素位置进行加权的注意力机制。通过对三个大型数据集的广泛实验，证明了该方法的有效性。

    Nov, 2015

  • 使用局部注意力蒙版的分割感知卷积网络

    该研究提出了一种利用卷积神经网络 (CNN) 中的分割信息的方法，通过设置 CNN 来提供嵌入空间来获取分割信息，以便在局部感受野范围内使每个神经元可以选择性地关注来自其本身区域的输入，因此适应于局部分割提示，在两个密集预测任务中展示了性能优于进行过增强的基线的结果。

    Aug, 2017