CVPRNov, 2021

自注意力和卷积的融合

PDF
TL;DR本文指出卷积和自注意力之间存在强烈的联系，两个模型的第一阶段都包含了相似的运算，本文提出了 ACmix 模型将它们混合使用从而最小化计算成本，实验结果表明，该模型在图像识别和 Downstream 任务上均取得了显著的改进。
convolutionself-attentionrepresentation learningcomputational complexityacmix
发现论文，激发创造
  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 探索自注意力在图像识别中的应用

    本文研究探索了自注意力在图像识别模型中的应用，比较了两种形式的自注意力（分别为成对自注意力和区域自注意力）与卷积神经网络在图像识别上的表现，并发现自注意力网络对于学习稳健的表征具有明显的优势。

    Apr, 2020

  • 自注意力与卷积层之间的关系

    本研究表明防止卷积操作而采用自注意层可以获得与卷积层相同的表现，这提供了一种证明多头自注意层与卷积层至少具有相同表征能力的方法。

    Nov, 2019

  • 仿射自卷积

    使用数据相关卷积和注意力机制，提出了一种特殊的自注意力网络模型，称之为 Affine Self Convolution，并在 CIFAR10 和 CIFAR100 数据集上进行了评估，结果显示该模型在减少参数数量的同时，在测试时获得了与基线模型相当或更高的准确率。

    Nov, 2019

  • 轻量级和动态卷积：减少注意力的付出

    本文研究了使用自我关注（self-attention）和动态卷积（dynamic convolutions）两种机制建立语言和图像生成模型的效率以及准确性问题，并证明了动态卷积在大规模机器翻译、语言模型和提取式摘要等任务中的表现优于强的自我关注模型，得到了 WMT'14 英德测试集中 29.7 BLEU 的最高分。

    Jan, 2019

  • 视觉模型中的独立自注意力

    通过使用自注意力替换空间卷积操作，得出了一个完全的自注意力模型，该模型相比于基线 ImageNet 分类任务具有 12％更少的 FLOPS 和 29％更少的参数，而在 COCO 目标检测方面，与基线 RetinaNet 匹配的 mAP，但具有 39％更少的 FLOPS 和 34％更少的参数。

    Jun, 2019

  • 混合哈希：用于图像检索的混合卷积和自注意力深度哈希

    通过深度神经网络将输入图像映射为简单的二进制哈希码，从而实现有效的大规模图像检索。我们提出了一种名为 HybridHash 的混合卷积和自注意力深度哈希方法，通过引入分阶段架构的骨干网络和块聚合函数来实现局部自注意力效果，并降低计算复杂性，以提高图像块之间的信息交流和视觉表示。实验结果表明，本文提出的方法在三个广泛使用的数据集上具有优越的性能，超过了现有的深度哈希方法。

    May, 2024

  • 图像分类的明确建模注意力图

    本文介绍了一种新的自我注意力模块，使用一种明确建模的注意力映射，利用几何先验来提高图像分类的准确性，实验证明该方法在 ImageNet ILSVRC 中的准确性提升了 2.2%，在参数和计算量分别减少 6.4% 和 6.7% 的情况下，相对于 AA-ResNet152 准确率提高了 0.9%。

    Jun, 2020

  • 关系自注意力：视频理解中注意力缺少的部分

    本文提出了一种基于动态生成关系卷积核和聚合关系背景的关系特征变换 —— 关系自注意力 (RSA)，用于视频理解。通过实验和消融研究，证明 RSA 网络在视频动作识别等领域明显优于传统卷积和自注意力网络。

    Nov, 2021

  • 当医学影像遇上自注意力机制：一段并未很成功的爱情故事

    通过在医学图像上扩展卷积神经网络结构，研究了自注意机制的应用，发现仅仅加入自注意机制并不能提升现有的完全卷积方法的性能。

    Apr, 2024