ICCVSep, 2023

保持简洁：谁说监督 Transformer 受注意力不足之苦？

PDF
TL;DR我们通过提出一种通用的池化框架，将卷积网络和视觉变换器的默认池化机制替换为简单的基于注意力的池化机制 SimPool，从而改善了预训练和下游任务的性能，并在所有情况下提供了能够描绘物体边界的注意力分布图。
发现论文，激发创造
  • 视觉 Transformer 中的 Token 池化

    该研究提出了一种称作 Token Pooling 的新型令牌下采样方法，旨在提高对视觉变换的计算速度，并通过对 softmax 注意力机制的研究，实现了更好的计算速度与精度之间的平衡。

    Oct, 2021

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 表面视觉转换器：应用于皮质分析的基于注意力的建模

    研究使用 attention 模型建立一个面向域无关的架构，可用于任何表面数据在球状流形上的研究，被证实在皮层表面度量的表型回归任务中优于表面卷积神经网络，而在注册和未注册数据上表现相当。

    Mar, 2022

  • 视觉模型中的独立自注意力

    通过使用自注意力替换空间卷积操作，得出了一个完全的自注意力模型，该模型相比于基线 ImageNet 分类任务具有 12％更少的 FLOPS 和 29％更少的参数，而在 COCO 目标检测方面，与基线 RetinaNet 匹配的 mAP，但具有 39％更少的 FLOPS 和 34％更少的参数。

    Jun, 2019

  • 透过凸优化解释注意力：关于视觉 Transformer 的分析和解读

    本文通过凸对偶性的视角分析了自我注意力及其替代方案的基础归纳偏差问题，并为非线性点积自我注意力和替代机制提出了有解释性且可全局最优求解的等效有限维凸问题。通过实验证明，与现有的 MLP 或线性 heuads 相比，自我注意网络的偏差对于 CIFAR-100 分类任务具有吸引力。

    May, 2022

  • 自注意力图池化

    本文提出一种基于自注意力机制的图池化方法，使用图卷积实现自注意力，同时考虑节点特征和图拓扑结构，实验结果表明该方法在基准数据集上具有优异的图分类性能。

    Apr, 2019

  • 无概率笼的标准化注意力

    本文介绍了 softmax-attention 在几何上的局限性，并提出采用归一化代替 softmax 实现自我注意力，从而获得超参数和数据推断鲁棒性较强的通用结构。

    May, 2020

  • 使用 Transformer 引导自监督学习的注意力机制

    该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

    Oct, 2020

  • 基于注意力机制的对比学习在 Winograd Schema 上的应用

    本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理能力，该方法胜过所有可比的无监督方法，有时甚至超越有监督学习。

    Sep, 2021

  • 自注意力与卷积层之间的关系

    本研究表明防止卷积操作而采用自注意层可以获得与卷积层相同的表现，这提供了一种证明多头自注意层与卷积层至少具有相同表征能力的方法。

    Nov, 2019