Dec, 2023

MABViT - 改进的注意力模块增强视觉 Transformer

PDF
TL;DR我们提出了一种新颖的变压器变体，在注意力块中集成了非线性处理，以解决在图像分类任务中并行运行 MLP 和注意力块导致性能下降的问题。我们的实验结果表明，基于 GLU 的激活函数超过了当前的 Vision Transformers 在 ImageNet-1K 数据集上的 S / 16 变体，同时使用更少的参数，且超过了 B / 16 变体使用仅一半的参数。此外，我们还展示了使用 GELU 激活函数变体来验证我们的断言。最后，我们证明了 MABViT 变体在深度变压器中的潜力超过了标准结构。
gated linear unitstransformer modelslarge language modelsparallel configurationvision transformers
发现论文，激发创造
  • 激活器：GLU 激活作为视觉转换器的核心功能

    该研究探讨了利用门控线性单元激活的多层感知器架构替代传统 Transformer 架构中通常采用的注意力机制，以及进一步减少计算成本的方法，实验结果表明这些修改和减少都能在设计 Transformer 架构的核心组件中提供具有竞争力的性能。

    May, 2024

  • 硬件高效训练的门控线性注意力变换器

    通过引入数据依赖的门控机制，我们开发了一种硬件高效的并行形式，使得门控线性注意力（GLA）Transformers 在适度规模的语言建模中表现竞争力，并在训练速度上与基于 CUDA 优化的 FlashAttention-2 相媲美。

    Dec, 2023

  • ViG: 使用门控线性注意力进行线性复杂度的视觉序列学习

    在计算机视觉任务中，线性复杂度序列建模网络达到了与 Vision Transformers 相似的建模能力，同时使用更少的 FLOPs 和内存。然而，它们在实际运行时速度方面的优势并不显著。为了解决这个问题，我们引入了适用于视觉的门控线性注意力（GLA），利用它的硬件感知和高效性。我们提出了方向性门控，通过双向建模来捕捉一维全局上下文，并通过二维门控局部注入来自适应地将二维局部细节注入一维全局上下文。我们的硬件感知实现将正向扫描和反向扫描合并为单个核心，增强了并行性，减少了内存成本和延迟。所提出的模型 ViG 在 ImageNet 和下游任务中在准确性、参数和 FLOPs 上取得了有利的权衡，优于流行的 Transformer 和基于 CNN 的模型。值得注意的是，ViG-S 仅使用参数的 27% 和 FLOPs 的 20%，在 224x224 大小的图像上运行速度比 DeiT-B 快 2 倍。在 1024x1024 分辨率下，ViG-T 使用的 FLOPs 比 DeiT-T 少了 5.2 倍，节省了 90% 的 GPU 内存，运行速度快了 4.8 倍，并且相比 DeiT-T 的 top-1 准确率高出 20.7%。这些结果使 ViG 成为一种高效且可扩展的视觉表示学习解决方案。代码可在 https://github.com/hustvl/ViG 找到。

    May, 2024

  • 关注多层感知器

    本文提出了一种基于 MLP 的简单网络架构 gMLP，与 Transformer 一样，在关键的自然语言处理和计算机视觉应用中表现不亚于 Transformer。同时，作者进行比较表明，自注意力（self-attention）不是视觉 Transformer 的关键，因为 gMLP 可以实现相同的准确性。}

    May, 2021

  • 具有并行局部和全局自注意力的轻量级视觉变换器

    我们将最新的 Vision Transformer PLG-ViT 重新设计为更紧凑和高效的架构，适合于计算资源有限的自动驾驶任务，通过减少参数数量和浮点运算来降低计算复杂性，并在性能适度下降的情况下将大小减小了 5 倍。

    Jul, 2023

  • GLU 变体改进 Transformer

    本研究测试了变化的 GLU，其中用不同的非线性（或线性）函数代替 sigmoid，发现其中一些在 Transformer 的前馈子层中使用比通常使用的 ReLU 或 GELU 激活函数有质量改进。

    Feb, 2020

  • FViT：一种具有 Gabor 滤波器的聚焦视觉变换器

    利用 Gabor 滤波器和学习能力，结合视觉变换器模型，设计了一种有效的金字塔网络结构，称为 Focal Vision Transformers（FViTs），在各种视觉任务中展现出出色的性能。

    Feb, 2024

  • 基于异质注意力模式的视觉 Transformer 加速

    基于观察到的异构注意力模式，在 Vision Transformers 中提出了一种综合压缩方法，通过动态引导的静态自注意力和全局聚合金字塔，加速了运行时间吞吐量，超过了所有 SOTA 方法。

    Oct, 2023

  • 基于群组混合注意力的视觉 Transformer 的进展

    基于 Group-Mix Attention 的 GroupMixFormer 模型在图像分类、物体检测和语义分割方面表现出色，参数较现有模型更少，例如 GroupMixFormer-L 在 ImageNet-1K 上取得 86.2% 的 Top-1 准确率，GroupMixFormer-B 在 ADE20K 上取得 51.2% 的 mIoU。

    Nov, 2023

  • 少即是多：在视觉 Transformer 网络中降低注意力

    我们提出了一种基于层次结构以及多层感知器与自注意力模块相结合的 Less attention vIsion Transformer（LIT）来提高特征提取效率，并通过学习可变形 Token 合并模块自适应的融合不均匀的信息块，以达到在图像分类、物体检测和实例分割等图像识别任务中具有很好的性能。

    May, 2021