ICLRJul, 2021

AS-MLP: 用于视觉的轴向平移 MLP 架构

PDF
TL;DR本文提出了一种轴向偏移的 MLP 架构 (AS-MLP), 该架构通过轴向偏移处理特征图通道，从不同轴向方向获取信息流以捕获局部依赖关系。实验结果表明，我们的 AS-MLP 模型优于所有基于 MLP 的模型，甚至在与变压器模型的性能相比时也具有竞争力。同时，AS-MLP 是第一个应用于物体检测和语义分割等下游任务的 MLP 架构。
as-mlp architecturelocal dependenciesmlp-based architecturesobject detectionsemantic segmentation
发现论文，激发创造
  • S$^2$-MLP: 视觉任务空间平移 MLP 架构

    本文提出一种新颖的 MLP 架构，空间平移 MLP (S$^2$-MLP)，只包含通道混合 MLP，利用局部接收场进行补丁之间的通信，其参数自由且计算效率高，比 MLP-Mixer 在 ImageNet-1K 数据集上获得更高的识别精度，同时具有与 ViT 相当的性能且更简单的架构。

    Jun, 2021

  • S$^2$-MLPv2: 提升空间 - 移位 MLP 视觉模型架构

    本研究致力于改进 S^2-MLP 视觉骨干，将特征图沿通道扩展并将其分成若干部分，然后对分割的部分进行不同的空间变换操作，同时利用分组注意力操作来融合这些分割的部分。采用更小的尺度补丁和金字塔结构提高图像识别的准确性，我们称之为 S^2-MLPv2。中型模型 S^2-MLPv2-Medium 使用 55M 个参数，在没有注意力机制和外部训练数据的情况下在 ImageNet-1K 基准测试中使用 224×224 图像实现了 83.6％的 top-1 准确率。

    Aug, 2021

  • MAXIM：用于图像处理的多轴 MLP

    本文介绍了一种基于多轴 MLP 的体系结构 MAXIM，该体系结构可用作图像处理任务的高效和灵活的通用视觉骨干。MAXIM 使用 UNet 形状的分层结构，并支持由空间门控 MLP 启用的长程交互，其在多项基准测试中取得了最先进的性能，并且需要的参数和 FLOP 少于竞争模型。

    Jan, 2022

  • SpiralMLP：一种轻量级视觉 MLP 架构

    SpiralMLP 是一种新颖的架构，通过将传统的 Token Mixing 方法替换为 Spiral FC 层，引入了螺旋状偏移量，实现了局部和全局特征的无缝集成，并在 ImageNet-1k、COCO 和 ADE20K 数据集上达到了与 Transformers、CNNs 以及其他 MLPs 相似的最先进性能。

    Mar, 2024

  • 侧化 MLP：扩散的简单脑启发架构

    基于大脑侧化的灵感，我们提出了一种简单而有效的架构 L-MLP，它基于多层感知器并在处理数据维度时进行排列、并行处理和合并，通过连接的 MLP 传递。我们发现这种设计优于其他 MLP 变体，在挑战性的扩散任务中与基于 Transformer 的架构相媲美，同时具有高效性。使用文本到图像生成任务进行实验，证明了 L-MLP 的有效性和高效性。

    May, 2024

  • 通过分层重新排列实现 Hire-MLP: 视觉 MLP

    Hire-MLP 是一种通过 Hi-erarchical re-arrangement 获得的简单而有竞争力的视觉 MLP 架构，可作为各种视觉任务的灵活骨干，包括图像分类、目标检测和语义分割任务，超过以前的基于 transformer 和 MLP 模型，在精度和吞吐量方面具有更好的折衷。

    Aug, 2021

  • MLP-Mixer: 一种用于视觉的全 MLP 架构

    本文提出了一种基于多层感知器 (MLP) 的架构，MLP-Mixer，它不需要使用卷积和注意力机制，包含两种类型的层，一种将 MLP 应用于图像补丁，一种将 MLP 应用于补丁之间的位置信息，具有与现代 CNN 和 Transformer 相媲美的预训练和推理成本，希望鼓励更多超越 CNN 和 Transformer 的研究。

    May, 2021

  • X-MLP: 一个无需 Patch 嵌入的 MLP 视觉架构

    提出一种基于全连接层的 MLP 体系结构 X-MLP，比现有的 MLP 模型和 CNNs 略表现更好，在多个基准数据集上进行了测试，具有捕捉长距离依赖性的特点。

    Jul, 2023

  • 关注多层感知器

    本文提出了一种基于 MLP 的简单网络架构 gMLP，与 Transformer 一样，在关键的自然语言处理和计算机视觉应用中表现不亚于 Transformer。同时，作者进行比较表明，自注意力（self-attention）不是视觉 Transformer 的关键，因为 gMLP 可以实现相同的准确性。}

    May, 2021

  • MDMLP: 使用 MLP 在小数据集上从零开始进行图像分类

    本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

    May, 2022