Apr, 2023

RFAConv：创新的空间注意力和标准卷积操作

PDF
TL;DR提出了一种新的注意力机制 —— 接收场注意，该机制不仅专注于感受野的空间特征，而且为大尺寸卷积核提供了有效的注意力权重，实现了用接收场空间特征替换空间特征的新方法，提高了网络的性能。
发现论文，激发创造
  • 卷积神经网络中的基于特征的注意力

    该论文介绍了将基于特征的注意力 (feature-based attention) 应用于卷积神经网络的简单方法，并与多种实现选项进行比较，实现了在处理具有噪声或混杂情况下的图像对象检测任务时的性能提升，并验证了生物学特征相似性增益模型在提高性能上的有效性。

    Nov, 2015

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • RF-Next：卷积神经网络高效感受野搜索

    本研究提出了一种全局到本地的搜索方案，探索更好的感受野组合以提高任务性能，通过将感受野搜索插入不同的模型中，如对象检测、实例分割等，提高了模型性能，源代码公开可用。

    Jun, 2022

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 学习面部超分辨率的空间注意力

    本篇论文介绍了一种基于 SPARNet 和 Face Attention Units（FAU）的空间注意力残差网络（SPARNet），能够在处理低分辨率人脸图像时捕捉到关键面部结构并生成高质量和高分辨率的结果。研究表明，该方法在多种度量标准上的表现优于当前最先进的方法，并能够对合成和真实世界低质量人脸图像进行有效泛化，不需要额外的人工标记数据。

    Dec, 2020

  • ELA：深度卷积神经网络的高效局部注意力

    本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

    Mar, 2024

  • 关系自注意力：视频理解中注意力缺少的部分

    本文提出了一种基于动态生成关系卷积核和聚合关系背景的关系特征变换 —— 关系自注意力 (RSA)，用于视频理解。通过实验和消融研究，证明 RSA 网络在视频动作识别等领域明显优于传统卷积和自注意力网络。

    Nov, 2021

  • 无参数空间注意力网络用于人员再识别

    本研究提出了一种新的参数 - free 的空间注意力层来建模高层特征之间的空间关系，该层相比于没有该层的模型有显著的性能改进，并在四个基准测试中实现了最先进的结果，其中 Market-1501 的 rank-1 准确度为 94.7％，DukeMTMC-ReID 的 rank-1 准确度为 89.0％，CUHK03-labeled 和 CUHK03-detected 的 rank-1 准确度分别为 74.9％和 69.7％。

    Nov, 2018

  • 关系感知全局注意力实现人员再识别

    本研究提出了一种关系感知全局注意力 (RGA) 模块，可以全面抓取全局结构信息以增强特征表示能力，实现了人员复识别 (Re-id) 领域的最新技术成果.

    Apr, 2019

  • 通过控制变量实现高效关注

    通过控制变量的方法，我们将随机特征关注（RFA）分解成多个控制变量估计器的和，从而揭示了 RFA 和标准 softmax attention 之间的逼近差距。我们开发了一种更灵活的控制变量形式，得到了一种新颖的注意机制，该机制在保持线性复杂度的同时，显著降低了逼近差距，对于视觉和语言任务都比最新的高效注意机制表现更好。

    Feb, 2023