May, 2021

超越自注意力：用两个线性层的外部注意力处理视觉任务

PDF
TL;DR本文提出了外部注意力机制，它在现有流行的架构中方便地替换自我注意力，具有线性复杂度，隐含地考虑所有数据样本之间的关联，结合多头机制提供了外部注意力 MLP（EAMLP）体系结构，用于图像分类和其他任务中可提供与或优于自我注意力机制及其变体相当的结果，且计算和内存成本较低。
attention mechanismsself-attentionexternal attentiondeep feature representationimage classification
发现论文，激发创造
  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 外部注意力增强自注意力，实现常识问答人类水平

    该论文提出了一种名为 KEAR 的系统，即知识化外部关注作用于常识推理，能够显著提高现有 AI 系统的性能，在 CommonsenseQA 上达到了人类水平的正确率。

    Dec, 2021

  • 探索用于不确定性检测的不同关注维度

    本文中我们为不确定性检测开发了注意力机制的神经网络，引入外部注意力和序列保持注意力等新的架构，并通过多个注意力维度与其他配置进行了比较。这些新的架构在一个 Wikipedia 基准数据集上取得了新的 state-of-the-art，在使用大量语言特征的生物医学基准测试中与现有技术相似。

    Dec, 2016

  • 图像分类的明确建模注意力图

    本文介绍了一种新的自我注意力模块，使用一种明确建模的注意力映射，利用几何先验来提高图像分类的准确性，实验证明该方法在 ImageNet ILSVRC 中的准确性提升了 2.2%，在参数和计算量分别减少 6.4% 和 6.7% 的情况下，相对于 AA-ResNet152 准确率提高了 0.9%。

    Jun, 2020

  • Axial-DeepLab: 独立的轴向注意力在全景分割中的应用

    本论文提出两个一维自注意力层的 2D 因式分解来减少计算复杂度，同时提出了一个位置敏感型自注意力设计，该设计结合两个一维自注意力层形成了一种新的构建块，称为位置敏感型轴注意力层；在图像分类和密集预测任务中，实验证明本文所提出的模型在四个大规模的数据集上表现出色，其中在 ImageNet 上表现最好，使得我们小型变体和计算效率分别提高了 3.8 倍和 27 倍，而本文提出的 Axial-DeepLab 模型在 COCO test-dev、Mapillary Vistas 和 Cityscapes 数据集上都达到了最高水平。

    Mar, 2020

  • 探索自注意力在图像识别中的应用

    本文研究探索了自注意力在图像识别模型中的应用，比较了两种形式的自注意力（分别为成对自注意力和区域自注意力）与卷积神经网络在图像识别上的表现，并发现自注意力网络对于学习稳健的表征具有明显的优势。

    Apr, 2020

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022

  • 自注意力与卷积层之间的关系

    本研究表明防止卷积操作而采用自注意层可以获得与卷积层相同的表现，这提供了一种证明多头自注意层与卷积层至少具有相同表征能力的方法。

    Nov, 2019

  • 多层结构化自注意力用于远程监督关系抽取

    提出了一种新颖的基于多层结构化自我关注机制的深度神经网络，在多实例学习框架下，利用双向循环神经网络进行远程监督关系抽取，该模型显著优于现有基线模型。

    Sep, 2018

  • 基于注意力机制的外部知识融入方法

    本文提出了一种新颖的方法，将外部知识纳入循环神经网络中，通过在注意力分布中引入词汇特征来提高模型的表现，我们介绍了三种方法，并在六个基准数据集上进行了实验，结果表明这种方法可以产生稳定的性能提升，并且可以适用于任何深度神经网络架构。

    Jun, 2019